特許 7408925 ジョブ処理システム、音声通知方法、およびコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-12-25

(45)【発行日】2024-01-09

(54)【発明の名称】ジョブ処理システム、音声通知方法、およびコンピュータプログラム

(51)【国際特許分類】

   G06F 3/16 20060101AFI20231226BHJP

   H04N 1/00 20060101ALI20231226BHJP

   G10L 13/10 20130101ALI20231226BHJP

   G10L 15/22 20060101ALI20231226BHJP

【ＦＩ】

G06F3/16 540

H04N1/00 350

G10L13/10 114

G10L15/22 460D

G06F3/16 670

G06F3/16 620

【請求項の数】 15

(21)【出願番号】P 2019104461

(22)【出願日】2019-06-04

(65)【公開番号】P2020197973

(43)【公開日】2020-12-10

【審査請求日】2022-05-17

(73)【特許権者】

【識別番号】000001270

【氏名又は名称】コニカミノルタ株式会社

(74)【代理人】

【識別番号】100125117

【弁理士】

【氏名又は名称】坂田 泰弘

(74)【代理人】

【識別番号】100086933

【弁理士】

【氏名又は名称】久保 幸雄

(72)【発明者】

【氏名】南 啓太

【審査官】菅原 浩二

(56)【参考文献】

【文献】特開２００１－０２２３７０（ＪＰ，Ａ）

【文献】特開２００６－０３８７０５（ＪＰ，Ａ）

【文献】国際公開第２０１７／１３０４８６（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０１９／００１９５１２（ＵＳ，Ａ１）

【文献】特開２００３－０５８３６０（ＪＰ，Ａ）

【文献】特開２０１２－１９４２１５（ＪＰ，Ａ）

【文献】特開２０００－１９４３８６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／１６

Ｈ０４Ｎ １／００

Ｇ１０Ｌ １３／１０

Ｇ１０Ｌ １５／２２

(57)【特許請求の範囲】

【請求項1】

音声による、ジョブ設定の第一の指令および前記ジョブ設定の内容の出力の第二の指令を受け付ける、受付手段と、
前記受付手段により受け付けた前記第二の指令に係る前記ジョブ設定の内容に関するメッセージを、音声によって出力する再生手段と、
これから実行されるジョブについて前記第二の指令が前記受付手段によって受け付けられた受付回数が所定の値を超えていない場合は前記メッセージが第一の速度で再生されるように前記再生手段を制御し、超えている場合は前記メッセージが前記第一の速度よりも速い第二の速度で再生されるように前記再生手段を制御する、制御手段と、
を有することを特徴とするジョブ処理システム。

【請求項2】

音声による、ジョブ設定の第一の指令、前記ジョブ設定の内容の出力の第二の指令、およびジョブの実行の指令である第三の指令を受け付ける、受付手段と、
前記受付手段により受け付けた前記第二の指令に係る前記ジョブ設定の内容に関するメッセージを、音声によって出力する再生手段と、
前記第三の指令が前記受付手段によって受け付けられた第一の回数に対する、前記受付手段によって前記第二の指令が受け付けられた第二の回数の割合が所定の値を超えていない場合は前記メッセージが第一の速度で再生されるように前記再生手段を制御し、超えている場合は前記メッセージが前記第一の速度よりも速い第二の速度で再生されるように前記再生手段を制御する、制御手段と、
を有することを特徴とするジョブ処理システム。

【請求項3】

音声による、ジョブ設定の第一の指令および前記ジョブ設定の内容の出力の第二の指令を受け付ける、受付手段と、
前記受付手段により受け付けた前記第二の指令に係る前記ジョブ設定の内容に関するメッセージを、音声によって出力する再生手段と、
前記メッセージを表示するディスプレイと、
前記第二の指令が前記受付手段によって受け付けられた受付回数が所定の値を超え、かつ、前記ディスプレイにおいて本来の時間を経過しても前記メッセージが表示されない、という要件を満たさない場合は前記メッセージが第一の速度で再生されるように前記再生手段を制御し、満たす場合は前記メッセージが前記第一の速度よりも速い第二の速度で再生されるように前記再生手段を制御する、制御手段と、
を有することを特徴とするジョブ処理システム。

【請求項4】

音声による、ジョブ設定の第一の指令および前記ジョブ設定の内容の出力の第二の指令を受け付ける、受付手段と、
前記受付手段により受け付けた前記第二の指令に係る前記ジョブ設定の内容に関するメッセージを、音声によって出力する再生手段と、
これから実行されるジョブの設定内容についての前記第二の指令が所定の時間内に前記受付手段によって受け付けられた受付回数が所定の値以内でない場合は前記メッセージが第一の速度で再生されるように前記再生手段を制御し、前記受付回数が前記所定の値以内である場合は前記メッセージが前記第一の速度よりも速い第二の速度で再生されるように前記再生手段を制御する、制御手段と、
を有することを特徴とするジョブ処理システム。

【請求項5】

音声による、ジョブ設定の第一の指令および前記ジョブ設定の内容の出力の第二の指令を受け付ける、受付手段と、
前記受付手段により受け付けた前記第二の指令に係る前記ジョブ設定の内容に関するメッセージを、音声によって出力する再生手段と、
所定の時間内に前記第二の指令が複数回、前記受付手段によって受け付けられる出来事が起きた発生回数が所定の値以内でない場合は前記メッセージが第一の速度で再生されるように前記再生手段を制御し、前記発生回数が前記所定の値以内である場合は前記メッセージが前記第一の速度よりも速い第二の速度で再生されるように前記再生手段を制御する、制御手段と、
を有することを特徴とするジョブ処理システム。

【請求項6】

ジョブ制御装置に関する情報を音声で知らせる音声通知方法であって、
音声による、ジョブ設定の第一の指令を受け付け、
音声による、前記ジョブ設定の内容の出力の第二の指令を受け付け、
これから実行されるジョブについて前記第二の指令が受け付けられた受付回数が所定の値を超えていない場合は音声で、受け付けた前記第二の指令に係る前記ジョブ設定の内容に関するメッセージを第一の速度で音声再生装置に再生させ、超えている場合は音声で前記メッセージを前記第一の速度よりも速い第二の速度で前記音声再生装置に再生させる、
ことを特徴とする音声通知方法。

【請求項7】

ジョブ制御装置に関する情報を音声で知らせる音声通知方法であって、
音声による、ジョブ設定の第一の指令を受け付け、
音声による、前記ジョブ設定の内容の出力の第二の指令を受け付け、
音声による、ジョブの実行の指令である第三の指令を受け付け、
前記第三の指令が受け付けられた第一の回数に対する、前記第二の指令が受け付けられた第二の回数の割合が所定の値を超えていない場合は音声で、受け付けた前記第二の指令に係る前記ジョブ設定の内容に関するメッセージを第一の速度で音声再生装置に再生させ、超えている場合は音声で前記メッセージを前記第一の速度よりも速い第二の速度で前記音声再生装置に再生させる、
ことを特徴とする音声通知方法。

【請求項8】

ジョブ制御装置に関する情報を音声で知らせる音声通知方法であって、
音声による、ジョブ設定の第一の指令を受け付け、
音声による、前記ジョブ設定の内容の出力の第二の指令を受け付け、
前記第二の指令が受け付けられた受付回数が所定の値を超え、かつ、前記ジョブ制御装置用のディスプレイにおいて本来の時間を経過しても受け付けた前記第二の指令に係る前記ジョブ設定の内容に関するメッセージが前記ディスプレイに表示されない、という要件を満たさない場合は前記メッセージを第一の速度で音声再生装置に再生させ、満たす場合は前記メッセージを前記第一の速度よりも速い第二の速度で前記音声再生装置に再生させる、
ことを特徴とする音声通知方法。

【請求項9】

ジョブ制御装置に関する情報を音声で知らせる音声通知方法であって、
音声による、ジョブ設定の第一の指令を受け付け、
音声による、前記ジョブ設定の内容の出力の第二の指令を受け付け、
これから実行されるジョブの設定内容についての前記第二の指令が所定の時間内に受け付けられた受付回数が所定の値以内でない場合は音声で、受け付けた前記第二の指令に係る前記ジョブ設定の内容に関するメッセージを第一の速度で音声再生装置に再生させ、前記受付回数が前記所定の値以内である場合は音声で前記メッセージを前記第一の速度よりも速い第二の速度で前記音声再生装置に再生させる、
ことを特徴とする音声通知方法。

【請求項10】

ジョブ制御装置に関する情報を音声で知らせる音声通知方法であって、
音声による、ジョブ設定の第一の指令を受け付け、
音声による、前記ジョブ設定の内容の出力の第二の指令を受け付け、
所定の時間内に前記第二の指令が複数回、受け付けられる出来事が起きた発生回数が所定の値以内でない場合は音声で、受け付けた前記第二の指令に係る前記ジョブ設定の内容に関するメッセージを第一の速度で音声再生装置に再生させ、前記発生回数が前記所定の値以内である場合は音声で前記メッセージを前記第一の速度よりも速い第二の速度で前記音声再生装置に再生させる、
ことを特徴とする音声通知方法。

【請求項11】

ジョブ実行装置を制御するコンピュータに用いられるコンピュータプログラムであって、
前記コンピュータに、
音声による、ジョブ設定の第一の指令を受け付ける、第一の受付処理を実行させ、
音声による、前記ジョブ設定の内容の出力の第二の指令を受け付ける、第二の受付処理を実行させ、
これから実行されるジョブについて前記第二の指令が受け付けられた受付回数が所定の値を超えていない場合は、受け付けた前記第二の指令に係る前記ジョブ設定の内容に関するメッセージが音声で第一の速度で再生されるように再生手段を制御し、超えている場合は前記メッセージが音声で前記第一の速度よりも速い第二の速度で再生されるように前記再生手段を制御する第一の制御処理を実行させ、
前記ジョブを実行する旨の第三の指令を受け付けた場合に前記ジョブが実行されるように前記ジョブ実行装置を制御する第二の制御処理を実行させる、
ことを特徴とするコンピュータプログラム。

【請求項12】

ジョブ実行装置を制御するコンピュータに用いられるコンピュータプログラムであって、
前記コンピュータに、
音声による、ジョブ設定の第一の指令を受け付ける、第一の受付処理を実行させ、
音声による、前記ジョブ設定の内容の出力の第二の指令を受け付ける、第二の受付処理を実行させ、
音声による、ジョブの実行の指令である第三の指令を受け付ける、第三の受付処理を実行させ、
前記第三の指令が受け付けられた第一の回数に対する、前記第二の指令が受け付けられた第二の回数の割合が所定の値を超えていない場合は、受け付けた前記第二の指令に係る前記ジョブ設定の内容に関するメッセージが音声で第一の速度で再生されるように再生手段を制御し、超えている場合は前記メッセージが音声で前記第一の速度よりも速い第二の速度で再生されるように前記再生手段を制御する第一の制御処理を実行させ、
前記ジョブを実行する旨の第三の指令を受け付けた場合に前記ジョブが実行されるように前記ジョブ実行装置を制御する第二の制御処理を実行させる、
ことを特徴とするコンピュータプログラム。

【請求項13】

ジョブ実行装置を制御するコンピュータに用いられるコンピュータプログラムであって、
前記コンピュータに、
音声による、ジョブ設定の第一の指令を受け付ける、第一の受付処理を実行させ、
音声による、前記ジョブ設定の内容の出力の第二の指令を受け付ける、第二の受付処理を実行させ、
前記第二の指令が受け付けられた受付回数が所定の値を超え、かつ、当該コンピュータ用のディスプレイにおいて本来の時間を経過しても受け付けた前記第二の指令に係る前記ジョブ設定の内容に関するメッセージが前記ディスプレイに表示されない、という要件を満たさない場合は、受け付けた前記メッセージが音声で第一の速度で再生されるように再生手段を制御し、満たす場合は前記メッセージが音声で前記第一の速度よりも速い第二の速度で再生されるように前記再生手段を制御する第一の制御処理を実行させ、
前記ジョブを実行する旨の第三の指令を受け付けた場合に前記ジョブが実行されるように前記ジョブ実行装置を制御する第二の制御処理を実行させる、
ことを特徴とするコンピュータプログラム。

【請求項14】

ジョブ実行装置を制御するコンピュータに用いられるコンピュータプログラムであって、
前記コンピュータに、
音声による、ジョブ設定の第一の指令を受け付ける、第一の受付処理を実行させ、
音声による、前記ジョブ設定の内容の出力の第二の指令を受け付ける、第二の受付処理を実行させ、
これから実行されるジョブの設定内容についての前記第二の指令が所定の時間内に受け付けられた受付回数が所定の値以内でない場合は、受け付けた前記第二の指令に係る前記ジョブ設定の内容に関するメッセージが音声で第一の速度で再生されるように再生手段を制御し、前記受付回数が前記所定の値以内である場合は前記メッセージが音声で前記第一の速度よりも速い第二の速度で再生されるように前記再生手段を制御する第一の制御処理を実行させ、
前記ジョブを実行する旨の第三の指令を受け付けた場合に前記ジョブが実行されるように前記ジョブ実行装置を制御する第二の制御処理を実行させる、
ことを特徴とするコンピュータプログラム。

【請求項15】

ジョブ実行装置を制御するコンピュータに用いられるコンピュータプログラムであって、
前記コンピュータに、
音声による、ジョブ設定の第一の指令を受け付ける、第一の受付処理を実行させ、
音声による、前記ジョブ設定の内容の出力の第二の指令を受け付ける、第二の受付処理を実行させ、
所定の時間内に前記第二の指令が複数回、受け付けられる出来事が起きた発生回数が所定の値以内でない場合は、受け付けた前記第二の指令に係る前記ジョブ設定の内容に関するメッセージが音声で第一の速度で再生されるように再生手段を制御し、前記発生回数が前記所定の値以内である場合は前記メッセージが音声で前記第一の速度よりも速い第二の速度で再生されるように前記再生手段を制御する第一の制御処理を実行させ、
前記ジョブを実行する旨の第三の指令を受け付けた場合に前記ジョブが実行されるように前記ジョブ実行装置を制御する第二の制御処理を実行させる、
ことを特徴とするコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ジョブを実行する装置で用いられる音声ＵＩに関する。

【背景技術】

【0002】

音声ＵＩ（User Interface）の技術が普及している。音声ＵＩによると、ユーザは、音声によって装置に指令を与えたり、情報を音声によって受け取ったりすることができる。

【0003】

特に近年、ＡＩ（Artificial Intelligence）、音声処理、ＩｏＴ（Internet of Things）、およびクラウドコンピューティングなどの進歩に伴い、音声ＵＩがますます発達している。その一例が、スマートスピーカである。さらに、音声ＵＩの適用先が増えている。

【0004】

特許文献１に記載される複合装置は、各種操作用の複数のアイテムを読み上げ画面として表示し、読み上げ画面の各アイテムに対する音声ガイダンスを出力する。この際、複合装置は、判定値保持部に記憶されている読み上げ画面の読み上げ制限値と判定値保持部に記憶されている読み上げ画面を複数に分割したガイダンスウィンドウ毎に割り付けられた読み上げ速度係数に基づいて各ガイダンスウィンドウの読み上げ速度を算出し、該算出した読み上げ速度に従って各ガイダンスウィンドウの音声ガイダンスを音声辞書保持部、音声合成部及び音声出力部によって行う。

【0005】

特許文献２に記載される記憶支援システムにおいて、音声単位取得部は、原音声を所定の区切り条件で以て分割して音声単位を取得する。速度調整部及び音声再生部は、この音声単位のうち、人間の短期記憶の限度以上の長さを有する音声単位に関し、その再生時間が所定時間内に収まるように再生速度を上げて再生する。学習者は、各音声単位が音声出力部を通して出力された後に、同じ音声を繰り返して発声する。関連画像表示部は、音声単位の再生と同時に、その意味に対応した画像を表示部上に表示させることで、学習者が概念を理解できるように支援することもできる。

【0006】

特許文献３に記載される音声案内装置は、使用者により任意の音声を登録可能な入力手段としてのマイクとこのマイクにより入力された音声を登録する記憶手段としての音声ＩＣと、この音声ＩＣに登録された音声を再生する出力手段としてのスピーカと、これら各手段を制御する制御手段としての制御装置を備え、制御装置は、音声ＩＣに登録された音声を出力手段にて再生することにより、音声案内を行うと共に、この音声案内を再生する際、選択可能な通常モードと高齢者モードを有する。

【先行技術文献】

【特許文献】

【0007】

【文献】特開２００９－２９６１０３号公報

【文献】特開２０１０－１９１２３５号公報

【文献】特開２０１０－２３０２４５号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

従来、音声ＵＩは、ジョブを実行する装置を操作するために主に視覚障碍者によって使用されていたが、上述のように音声ＵＩの発達に伴い、様々なユーザによって使用されるようになっている。そこで、ユーザごとに使用しやすい音声ＵＩが求められる
本発明は、このような課題に鑑み、ジョブを実行する装置とともに使用される音声ＵＩを従来よりも使用しやすくすることを目的とする。

【課題を解決するための手段】

【0009】

本発明の一形態に係るジョブ処理システムは、音声による、ジョブ設定の第一の指令および前記ジョブ設定の内容の出力の第二の指令を受け付ける、受付手段と、前記受付手段により受け付けた前記第二の指令に係る前記ジョブ設定の内容に関するメッセージを、音声によって出力する再生手段と、これから実行されるジョブについて前記第二の指令が前記受付手段によって受け付けられた受付回数が所定の値を超えていない場合は前記メッセージが第一の速度で再生されるように前記再生手段を制御し、超えている場合は前記メッセージが前記第一の速度よりも速い第二の速度で再生されるように前記再生手段を制御する、制御手段と、を有する。

【0010】

本発明の他の一形態に係るジョブ処理システムは、音声による、ジョブ設定の第一の指令、前記ジョブ設定の内容の出力の第二の指令、およびジョブの実行の指令である第三の指令を受け付ける、受付手段と、前記受付手段により受け付けた前記第二の指令に係る前記ジョブ設定の内容に関するメッセージを、音声によって出力する再生手段と、前記第三の指令が前記受付手段によって受け付けられた第一の回数に対する、前記受付手段によって前記第二の指令が受け付けられた第二の回数の割合が所定の値を超えていない場合は前記メッセージが第一の速度で再生されるように前記再生手段を制御し、超えている場合は前記メッセージが前記第一の速度よりも速い第二の速度で再生されるように前記再生手段を制御する、制御手段と、を有する。

【発明の効果】

【0011】

本発明によると、ジョブを実行する装置とともに使用される音声ＵＩをユーザにとって従来よりも使用しやすくすることができる。

【図面の簡単な説明】

【0012】

【図1】画像処理システムの全体的な構成の例を示す図である。

【図2】画像形成装置のハードウェア構成の例を示す図である。

【図3】スマートスピーカのハードウェア構成の例を示す図である。

【図4】サーバのハードウェア構成の例を示す図である。

【図5】画像形成装置、スマートスピーカ、およびサーバそれぞれの機能的構成の例を示す図である。

【図6】画像形成装置の全体的な処理の流れの例を説明するためのフローチャートである。

【図7】スマートスピーカの全体的な処理の流れの例を説明するためのフローチャートである。

【図8】サーバの全体的な処理の流れの例を説明するためのフローチャートである。

【図9】画像形成装置、スマートスピーカ、およびサーバそれぞれの機能的構成の例を示す図である。

【図10】設定確認回数およびジョブ指示回数の例を示す図である。

【図11】画像形成装置の全体的な処理の流れの例を説明するためのフローチャートである。

【図12】サーバの全体的な処理の流れの例を説明するためのフローチャートである。

【図13】サーバの全体的な処理の流れの例を説明するためのフローチャートである。

【図14】画像形成装置、スマートスピーカ、およびサーバそれぞれの機能的構成の例を示す図である。

【図15】フラグの例を示す図である。

【図16】速度決定処理の流れの例を説明するためのフローチャートである。

【図17】画像形成装置の全体的な処理の流れの例を説明するためのフローチャートである。

【図18】サーバの全体的な処理の流れの例を説明するためのフローチャートである。

【図19】画像形成装置に設定されているジョブの条件を示す画面の例を示す図である。

【発明を実施するための形態】

【0013】

〔第一の実施形態〕
図１は、画像処理システム４の全体的な構成の例を示す図である。図２は、画像形成装置１のハードウェア構成の例を示す図である。図３は、スマートスピーカ２のハードウェア構成の例を示す図である。図４は、サーバ３のハードウェア構成の例を示す図である。図５は、画像形成装置１、スマートスピーカ２、およびサーバ３それぞれの機能的構成の例を示す図である。

【0014】

画像処理システム４は、図１に示すように、画像形成装置１、スマートスピーカ２、サーバ３、および通信回線４８などによって構成される。画像処理システム４は、画像に関する処理を行うシステムであって、画像をシートに印刷したり、シートに記されている画像を電子化して保存しまたは送信したりする。

【0015】

画像処理システム４の各装置は、通信回線４８を介して通信を行うことができる。通信回線４８として、インターネット、イーサネット（登録商標）回線、または無線ＬＡＮ（Local Area Network）などが用いられる。

【0016】

画像形成装置１は、一般に「ＭＦＰ（Multi Function Peripheral）」または「複合機」などと呼ばれる装置であって、コピー、ネットワークプリント、ファクシミリ、スキャン、およびドキュメントサーバなどの機能を集約した装置である。

【0017】

ネットワークプリント機能は、パーソナルコンピュータまたはスマートフォンなどの端末装置からプリントサーバを介して画像ファイルを受信し画像をシートに印刷する機能である。

【0018】

画像形成装置１は、図２に示すように、ＣＰＵ（Central Processing Unit）１０ａ、ＲＡＭ（Random Access Memory）１０ｂ、ＲＯＭ（Read Only Memory）１０ｃ、補助記憶装置１０ｄ、ネットワークインタフェース１０ｅ、モデム１０ｆ、ＵＳＢ（Universal Serial Bus）ボード１０ｇ、タッチパネルディスプレイ１０ｈ、操作キーパネル１０ｉ、スキャンユニット１０ｊ、プリントユニット１０ｋ、およびフィニッシャ１０ｍなどによって構成される。

【0019】

ネットワークインタフェース１０ｅは、ＴＣＰ／ＩＰ（Transmission Control Protocol/Internet Protocol）などのプロトコルでスマートスピーカ２およびサーバ３などと通信する。ネットワークインタフェース１０ｅとして、ＮＩＣ（Network Interface Card）または無線ＬＡＮボードなどが用いられる。

【0020】

モデム１０ｆは、ファクシミリ端末との間でＧ３などのプロトコルで画像データをやり取りする。

【0021】

ＵＳＢボード１０ｇは、ＵＳＢの規格に基づいてＵＳＢメモリまたはカードリーダライタなどの周辺機器と通信する。スマートスピーカ２をＵＳＢケーブルでＵＳＢボード１０ｇに繋ぎ、スマートスピーカ２と通信してもよい。

【0022】

タッチパネルディスプレイ１０ｈは、画像形成装置１の筐体の正面側に設けられており、ユーザに対するメッセージを示す画面、ユーザがコマンドまたは情報を入力するための画面、およびＣＰＵ１０ａが実行した処理の結果を示す画面などを表示する。また、タッチパネルディスプレイ１０ｈは、タッチされた位置を示す信号をＣＰＵ１０ａへ送る。

【0023】

操作キーパネル１０ｉは、いわゆるハードウェアキーボードであって、テンキー、スタートキー、ストップキー、およびファンクションキーなどによって構成される。

【0024】

スキャンユニット１０ｊは、シートに記されている画像を読み取って画像データを生成する。

【0025】

プリントユニット１０ｋは、スキャンユニット１０ｊによって読み取られた画像のほか、ネットワークインタフェース１０ｅ、モデム１０ｆ、またはＵＳＢボード１０ｇによって他の装置から受信した画像データに示される画像をシートに印刷する。

【0026】

フィニッシャ１０ｍは、プリントユニット１０ｋによって画像が印刷されたシートに対して、必要に応じて後処理を施す。後処理は、ステープルで綴じる処理、パンチ穴を開ける処理、または折り曲げる処理などである。

【0027】

ＲＯＭ１０ｃまたは補助記憶装置１０ｄには、コピーおよびネットワークプリントなど上述の各機能を実現するためのプログラムが記憶されている。特に、音声操作サービスをスマートスピーカ２およびサーバ３と連携してユーザへ提供するための連携プログラム１００（図５参照）が記憶されている。「音声操作サービス」は、音声でユーザがコマンドを入力できるようにしたり音声でユーザに設定の内容などを案内したりするサービスである。

【0028】

これらのプログラムは、ＲＡＭ１０ｂにロードされ、ＣＰＵ１０ａによって実行される。補助記憶装置１０ｄとして、ＨＤＤ（Hard Disk Drive）またはＳＳＤ（Solid State Drive）などが用いられる。

【0029】

スマートスピーカ２は、音声による対話型の操作に対応した音声ＵＩ（User Interface）であって、「ＡＩ（Artificial Intelligence）スピーカ」と呼ばれることもある。

【0030】

スマートスピーカ２は、図３に示すように、ＣＰＵ２０ａ、ＲＡＭ２０ｂ、ＲＯＭ２０ｃ、ネットワークインタフェース２０ｄ、マイクロフォン２０ｅ、Ａ／Ｄ（analogue/digital）変換器２０ｆ、Ｄ／Ａ（digital/analogue）変換器２０ｇ、およびスピーカ２０ｈなどによって構成される。

【0031】

ＲＯＭ２０ｃには、音声操作サービスのための連携プログラム２００（図５参照）が記憶されている。連携プログラム２００は、ＲＡＭ２０ｂにロードされ、ＣＰＵ２０ａによって実行される。

【0032】

ネットワークインタフェース２０ｄは、ＮＩＣまたは無線ＬＡＮボードであって、画像形成装置１およびサーバ３などと通信する。

【0033】

マイクロフォン２０ｅは、ユーザの音声を集音しアナログ信号に変換する。Ａ／Ｄ変換器２０ｆは、ユーザの音声のアナログ信号をデジタル信号に変換する。

【0034】

Ｄ／Ａ変換器２０ｇは、サーバ３から送信されてきた、音声のデジタル信号をアナログ信号に変換する。スピーカ２０ｈは、Ｄ／Ａ変換器２０ｇによって得られたアナログ信号に基づいて音声を出力する。

【0035】

サーバ３は、ドキュメントのデータを管理したり種々のジョブを画像形成装置１に与えたりする。サーバ３として、いわゆるサーバ機またはクラウドサーバなどが用いられる。以下、サーバ３としてサーバ機が用いられる場合を例に説明する。

【0036】

サーバ３は、図４に示すように、ＣＰＵ３０ａ、ＲＡＭ３０ｂ、ＲＯＭ３０ｃ、補助記憶装置３０ｄ、およびネットワークインタフェース３０ｅなどによって構成される。

【0037】

ＲＯＭ３０ｃまたは補助記憶装置３０ｄには、音声操作サービスのための連携プログラム３００（図５参照）が記憶されている。連携プログラム３００は、ＲＡＭ３０ｂにロードされ、ＣＰＵ３０ａによって実行される。

【0038】

ネットワークインタフェース３０ｅは、ＮＩＣであって、画像形成装置１およびスマートスピーカ２などと通信する。

【0039】

連携プログラム１００によると、図５に示す条件設定部１０１、設定内容回答部１０２、およびジョブ実行部１０３などが画像形成装置１に実現される。

【0040】

連携プログラム２００によると、指示データ送信部２０１および音声再生制御部２０２などがスマートスピーカ２に実現される。

【0041】

連携プログラム３００によると、カウンタ３０１、コマンド等特定部３０２、条件設定指令部３０３、メッセージ生成部３０４、再生速度決定部３０５、音声データ生成部３０６、音声データ送信部３０７、およびジョブ開始指令部３０８などがサーバ３に実現される。

【0042】

以下、図５に示す、画像形成装置１、スマートスピーカ２、およびサーバ３それぞれの機能について説明する。

【0043】

ユーザは、画像形成装置１に対するコマンドを声でスマートスピーカ２に入力することができる。この際に適宜、パラメータも入力する。例えば、コピーの条件を設定する場合は、「コピー ３部 両面 設定」のように、ジョブの種類および条件のパラメータに続けて「設定」というコマンドをスマートスピーカ２へ向かって発声する。または、コピーを開始する場合は、「コピー 開始」のように、ジョブの種類のパラメータに続けて「開始」というコマンドをスマートスピーカ２へ向かって発声する。または、コピーについて設定した条件を音声で出力する場合は、「コピー 条件出力」のように、ジョブの種類のパラメータに続けて「条件出力」というコマンドをスマートスピーカ２へ向かって発声する。

【0044】

すると、スマートスピーカ２において、マイクロフォン２０ｅによってユーザの声が集音され、Ａ／Ｄ変換器２０ｆによってデジタル信号に変換される。

【0045】

そして、指示データ送信部２０１は、デジタル信号をコマンドデータ５Ａとしてサーバ３へ送信する。

【0046】

サーバ３において、カウンタ３０１は、受付回数Ｘａを変数として有し、条件出力のコマンドを受け付けた回数をカウントする。受付回数Ｘａの初期値は、「０」である。また、後述するように、カウンタ３０１は、受付回数Ｘａを所定のタイミングで「０」にリセットする。

【0047】

コマンド等特定部３０２は、コマンドデータ５Ａを受信すると、コマンドデータ５Ａを公知の音声認識の技術を用いて解析することによって、ユーザがスマートスピーカ２に入力したパラメータおよびコマンドを特定し、そのパラメータおよびコマンドを示すテキストデータ５Ｂを生成する。

【0048】

条件設定指令部３０３は、テキストデータ５Ｂに示されるコマンドが画像形成装置１に条件を設定するコマンドである場合に、設定指令データ５Ｃを生成し画像形成装置１へ送信する。

【0049】

設定指令データ５Ｃには、テキストデータ５Ｂにパラメータとして示されるジョブの種類および条件が示される。例えば、テキストデータ５Ｂに「コピー ３部 両面 設定」が示される場合は、「コピー ３部 両面」を示すデータが設定指令データ５Ｃとして画像形成装置１へ送信される。

【0050】

画像形成装置１において、条件設定部１０１は、サーバ３から設定指令データ５Ｃを受信すると、設定指令データ５Ｃに示されるジョブの種類および条件に基づいて設定を行う。例えば、設定指令データ５Ｃに「コピー ３部 両面」と示される場合は、コピーの部数および印刷面の条件としてそれぞれ「３部」および「両面」を設定する。

【0051】

サーバ３において、メッセージ生成部３０４は、テキストデータ５Ｂに示されるコマンドが、スマートスピーカ２からメッセージを音声で出力させるコマンドである場合に、そのメッセージをテキストで表わすメッセージデータ５Ｄを生成する。

【0052】

例えば、テキストデータ５Ｂに示されるコマンドが「条件出力」である場合に、メッセージ生成部３０４は、次のようにメッセージデータ５Ｄを生成する。なお、この場合において、カウンタ３０１は、再生速度決定部３０５が再生速度Ｓを決定する処理を開始する前に受付回数Ｘａに「１」を足す。

【0053】

メッセージ生成部３０４は、現在設定されている条件を画像形成装置１へ問い合わせる。この際に、テキストデータ５Ｂにパラメータとして示されるジョブの種類を示す条件問合データ５Ｅを画像形成装置１へ送信する。例えば、テキストデータ５Ｂに「コピー 条件出力」が示される場合は、「コピー」を示すデータを条件問合データ５Ｅとして画像形成装置１へ送信する。

【0054】

画像形成装置１において、設定内容回答部１０２は、サーバ３から条件問合データ５Ｅを受信すると、条件問合データ５Ｅに示される種類のジョブについて現在設定されている条件をチェックし、その条件を示す条件回答データ５Ｆをサーバ３へ送信する。

【0055】

条件回答データ５Ｆには、そのジョブに関するすべての項目の条件が示されていてもよいし、デフォルト値とは異なる条件のみが示されていてもよい。

【0056】

例えば、コピーについての項目が「読取解像度」、「部数」、「印刷面」、「カラー」、および「拡大縮小」であり、各項目のデフォルト値が「２００ｄｐｉ」、「１部」、「片面」、「オートカラー」、および「１００％」であり、かつ、部数および印刷面の条件として現在「３部」および「両面」が設定されている場合は、「読取解像度＝２００ｄｐｉ，部数＝３部，印刷面＝両面，カラー＝オートカラー，拡大縮小＝１００％」を示すデータを条件回答データ５Ｆとして送信してもよい。または、「部数＝３部，印刷面＝両面」を示すデータを条件回答データ５Ｆとして送信してもよい。

【0057】

サーバ３において、メッセージ生成部３０４は、条件回答データ５Ｆを受信すると、条件回答データ５Ｆに示される条件を表わすメッセージのデータをメッセージデータ５Ｄとして生成する。例えば、「読取解像度は２００ｄｐｉ、部数は３部、印刷面は両面、カラーはオートカラー、拡大縮小は１００％です。」のようなメッセージのデータをメッセージデータ５Ｄとして生成する。

【0058】

なお、条件回答データ５Ｆにデフォルト値とは異なる条件のみが示されている場合は、デフォルト値を補ってメッセージデータ５Ｄを生成してもよい。例えば、条件回答データ５Ｆに「部数＝３部，印刷面＝両面」のみが示される場合は、デフォルト値「読取解像度＝２００ｄｐｉ，カラー＝オートカラー，拡大縮小＝１００％」を補い、「読取解像度は２００ｄｐｉ、部数は３部、印刷面は両面、カラーはオートカラー、拡大縮小は１００％です。」というメッセージのテキストデータをメッセージデータ５Ｄとして生成してもよい。各種類のジョブの各項目のデフォルト値は、予めサーバ３の所定のディレクトリに記憶させておけばよい。

【0059】

または、テキストデータ５Ｂに示されるコマンドが「条件出力」以外の、スマートスピーカ２からメッセージを音声で出力させるコマンドである場合は、メッセージ生成部３０４は、そのコマンドに応じてメッセージデータ５Ｄを生成する。例えば、「現在時刻出力」である場合は、現在の時刻を示すデータをメッセージデータ５Ｄとして生成する。現在の時刻は、サーバ３の時計またはＮＴＰ（Network Time Protocol）サーバなどに確認すればよい。

【0060】

再生速度決定部３０５は、メッセージを再生する速度（以下、「再生速度Ｓ」と記載する。）を次のように決定する。受付回数Ｘａが所定の回数Ｔａ未満である場合は、再生速度Ｓを中速に決定する。「中速」は、一般的な会話の速度であって、例えば、３００文字／分である。受付回数Ｘａが所定の回数Ｔａ以上である場合は、再生速度Ｓを高速に決定する。「高速」は、中速よりも速く、例えば、４５０文字／分である。「所定の回数Ｔａ」は、管理者が任意に設定することができるが、例えば、２回、である。

【0061】

このように再生速度Ｓを決定する理由は、次の通りである。これから実行させるジョブについて設定されている条件を所定の回数以上確認するユーザは、視覚障碍者またはタッチパネルディスプレイ１０ｈを使用しない人であると考えられる。このようなユーザは、スマートスピーカ２によって再生される音声を聞き慣れているので、標準的な速度で音声が再生されると遅く感じる。そこで、再生速度決定部３０５は、受付回数Ｘａが所定の回数Ｔａ以上であればログインユーザが視覚障碍者またはタッチパネルディスプレイ１０ｈを使用しない人であると推定し、再生速度Ｓを高速に決定する。

【0062】

音声データ生成部３０６は、メッセージ生成部３０４によって生成されたメッセージデータ５Ｄに示されるメッセージを、再生速度決定部３０５によって決定された再生速度Ｓで読み上げるための音声データ５Ｇを生成する。音声データ５Ｇは、公知の音声合成技術によって生成すればよい。

【0063】

なお、メッセージがジョブの条件に関するものでない場合（つまり、テキストデータ５Ｂに示されるコマンドが「条件出力」でない場合）は、再生速度決定部３０５による処理をスキップし、音声データ生成部３０６は、再生速度Ｓに関わらず中速でメッセージが読み上げられるように音声データ５Ｇを生成してもよい。

【0064】

音声データ送信部３０７は、音声データ生成部３０６によって生成された音声データ５Ｇをスマートスピーカ２へ送信する。

【0065】

スマートスピーカ２において、音声再生制御部２０２は、音声データ５Ｇをサーバ３から受信すると、音声データ５Ｇに基づいてメッセージが音声として再生されるように処理を行う。具体的には、Ｄ／Ａ変換器２０ｇによって音声データ５Ｇをアナログ信号に変換し、スピーカ２０ｈによってアナログ信号に基づいて音声を出力する。これにより、受付回数Ｘａに応じた速度の音声でメッセージがユーザに伝えられる。

【0066】

サーバ３において、ジョブ開始指令部３０８は、テキストデータ５Ｂに示されるコマンドが、画像形成装置１にジョブを開始させるものである場合は、ジョブを開始するように画像形成装置１に指令する。この際に、ジョブ指令データ５Ｈを画像形成装置１へ送信する。ジョブ指令データ５Ｈには、テキストデータ５Ｂにパラメータとして示される種類が示される。例えば、テキストデータ５Ｂに「コピー 開始」が示される場合は、「コピー」を示すデータがジョブ指令データ５Ｈとして送信される。

【0067】

画像形成装置１において、ジョブ実行部１０３は、サーバ３からジョブ指令データ５Ｈを受信すると、ジョブ指令データ５Ｈに示される種類のジョブが、その種類について現在設定されている条件に従って実行されるように、画像形成装置１の各部を制御する。

【0068】

なお、ジョブ開始指令部３０８によって画像形成装置１に対してジョブの開始が指令されたら、カウンタ３０１は、受付回数Ｘａを「０」にリセットする。また、画像形成装置１において、ジョブの設定値がデフォルト値にリセットされる。

【0069】

また、所定の時間（例えば、１０分）以上、スマートスピーカ２からデータが送信されてこなかった場合、画像形成装置１においてジョブの設定値がデフォルト値にリセットされた場合、および受付回数Ｘａをリセットするためのコマンドがテキストデータ５Ｂに示される場合にも、カウンタ３０１は、受付回数Ｘａを「０」にリセットしてもよい。

【0070】

図６は、画像形成装置１の全体的な処理の流れの例を説明するためのフローチャートである。図７は、スマートスピーカ２の全体的な処理の流れの例を説明するためのフローチャートである。図８は、サーバ３の全体的な処理の流れの例を説明するためのフローチャートである。

【0071】

次に、画像形成装置１、スマートスピーカ２、およびサーバ３それぞれの全体的な処理の流れを、フローチャートを参照しながら説明する。

【0072】

画像形成装置１は、図６に示す手順の処理を連携プログラム１００に基づいて実行する。スマートスピーカ２は、図７に示す手順の処理を連携プログラム２００に基づいて実行する。サーバ３は、図８に示す手順の処理を連携プログラム３００に基づいて実行する。

【0073】

ユーザは、スマートスピーカ２に向かって発声することによって、画像形成装置１にジョブの条件を設定したり、画像形成装置１に設定されている条件を確認したり、画像形成装置１にジョブを実行させたりすることができる。

【0074】

スマートスピーカ２は、ユーザが発した声をデジタル化することによってコマンドデータ５Ａを生成しサーバ３へ送信する（図７の＃７２１）。

【0075】

サーバ３は、コマンドデータ５Ａを受信するごとに、コマンドデータ５Ａをテキストデータ５Ｂに変換する（図８の＃７３１）。そして、テキストデータ５Ｂに示される内容つまりユーザが発声した内容に応じて次のように処理を行う。

【0076】

テキストデータ５Ｂに示されるコマンドが画像形成装置１に条件を設定するコマンドである場合は（＃７３２でＹｅｓ）、サーバ３は、設定指令データ５Ｃを画像形成装置１へ送信することによって、条件を設定するように画像形成装置１へ指令する（＃７３３）。設定指令データ５Ｃには、テキストデータ５Ｂにパラメータとして示されるジョブの種類および条件が示される。

【0077】

画像形成装置１は、サーバ３からデータを受信するごとに次のように処理を行う。設定指令データ５Ｃを受信した場合は（図６の＃７１１でＹｅｓ）、設定指令データ５Ｃに示される種類のジョブの条件として、設定指令データ５Ｃに示される条件を設定する（＃７１２）。

【0078】

または、テキストデータ５Ｂに示されるコマンドがスマートスピーカ２からメッセージを音声で出力させるコマンドである場合は（＃７３４でＹｅｓ）、サーバ３は、メッセージデータ５Ｄを次のように生成する。

【0079】

ジョブの条件を音声で出力させる場合は（＃７３５でＹｅｓ）、サーバ３は、受付回数Ｘａに「１」を足す（＃７３６）。さらに、サーバ３は、画像形成装置１へジョブの条件を問い合わせ、画像形成装置１からの回答に基づいてメッセージデータ５Ｄを生成する（＃７３７）。

【0080】

問合せの際に、サーバ３は、条件問合データ５Ｅを画像形成装置１へ送信する。条件問合データ５Ｅには、テキストデータ５Ｂに示される種類が示される。

【0081】

画像形成装置１は、条件問合データ５Ｅを受信すると（＃７１３でＹｅｓ）、条件回答データ５Ｆをサーバ３へ送信する（＃７１４）。条件回答データ５Ｆには、条件問合データ５Ｅに示される種類のジョブについて設定されている条件が示される。そして、メッセージデータ５Ｄがサーバ３によって条件回答データ５Ｆに基づいて生成される。

【0082】

一方、ジョブの条件以外の事項を音声で出力させる場合は（＃７３５でＮｏ）、サーバ３は、その事項を示すデータをメッセージデータ５Ｄとして生成する（＃７３８）。

【0083】

サーバ３は、受付回数Ｘａが所定の回数Ｔａ（例えば、２回）未満であれば（＃７３９でＹｅｓ）、再生速度Ｓを中速に決定し（＃７４０）、所定の回数Ｔａ以上であれば（＃７３９でＮｏ）、再生速度Ｓを高速に決定する（＃７４１）。

【0084】

そして、サーバ３は、メッセージデータ５Ｄに示されるメッセージを再生速度Ｓで読み上げるための音声データ５Ｇを生成し、スマートスピーカ２へ送信する（＃７４２）。なお、メッセージデータ５Ｄがステップ＃７３８で生成されたものである場合は、ステップ＃７３９～＃７４１の処理をスキップし、中速で読み上げるためのデータを音声データ５Ｇとして生成してもよい。

【0085】

スマートスピーカ２は、音声データ５Ｇを受信すると（＃７２２）、音声データ５Ｇに基づいてメッセージを音声で再生する（＃７２３）。

【0086】

または、テキストデータ５Ｂに示されるコマンドが画像形成装置１にジョブを開始させるものである場合は（＃７４３でＹｅｓ）、サーバ３は、ジョブを開始するように画像形成装置１に指令する（＃７４４）。この際に、ジョブ指令データ５Ｈを画像形成装置１へ送信する。ジョブ指令データ５Ｈには、テキストデータ５Ｂにパラメータとして示される種類が示される。そして、受付回数Ｘａをリセットする（＃７４５）。

【0087】

画像形成装置１は、サーバ３からジョブ指令データ５Ｈを受信すると（＃７１５でＹｅｓ）、ジョブ指令データ５Ｈに示される種類のジョブを、現在設定されている条件に従って実行する（＃７１６）。

【0088】

なお、画像形成装置１は、ステップ＃７１６の前すなわちジョブを開始する前に、そのジョブについて設定されている条件をスマートスピーカ２から音声によって出力させてもよい。そして、ユーザが「ＯＫ」または「了解」などを音声でスマートスピーカ２に入力しまたはタッチパネルディスプレイ１０ｈに手で入力した場合に、画像形成装置１は、そのジョブを開始してもよい。ユーザが「ＮＧ」または「キャンセル」などをスマートスピーカまたはタッチパネルディスプレイ１０ｈへ入力した場合は、そのジョブを中止しまたは保留し、ステップ＃７１１へ戻ればよい。

【0089】

または、サーバ３が、ステップ＃７４４の前すなわちジョブ指令データ５Ｈを送信する前に、同様に条件をスマートスピーカ２から音声によって出力させ、ユーザがユーザが「ＯＫ」または「了解」などを同様に入力した場合にジョブ指令データ５Ｈを送信してもよい。

【0090】

〔第二の実施形態〕
図９は、画像形成装置１、スマートスピーカ２、およびサーバ３それぞれの機能的構成の例を示す図である。図１０は、設定確認回数Ｘｂおよびジョブ指示回数Ｘｃの例を示す図である。

【0091】

第一の実施形態では、再生速度決定部３０５は、受付回数Ｘａが所定の回数Ｔａ未満であるか否かによって再生速度Ｓを決定した。しかし、「条件出力」のコマンドを受ける頻度が所定の頻度未満であるか否かによって再生速度Ｓを決定してもよい。以下、この仕組みを説明する。第一の実施形態と重複する点は、説明を省略する。

【0092】

画像処理システム４の全体的な構成は、第一の実施形態と同様であり、図１に示した通りである。画像形成装置１、スマートスピーカ２、およびサーバ３のハードウェアの構成も第一の実施形態と同様であり、それぞれ、図２、図３、および図４に示した通りである。

【0093】

画像形成装置１のＲＯＭ１０ｃまたは補助記憶装置１０ｄには、連携プログラム１００の代わりに連携プログラム１５０が記憶されている。連携プログラム１５０によると、図９に示す条件設定部１５１、設定内容回答部１５２、ジョブ実行部１５３、およびログイン通知部１５４などが画像形成装置１に実現される。

【0094】

サーバ３のＲＯＭ３０ｃまたは補助記憶装置３０ｄには、連携プログラム３００の代わりに連携プログラム３５０が記憶されている。連携プログラム３５０によると、図９に示すカウンタ３５１、コマンド等特定部３５２、条件設定指令部３５３、メッセージ生成部３５４、再生速度決定部３５５、音声データ生成部３５６、音声データ送信部３５７、ジョブ開始指令部３５８、およびログイン処理部３５９などがサーバ３に実現される。

【0095】

スマートスピーカ２のＲＯＭ２０ｃには、第一の実施形態と同様に、連携プログラム２００が記憶されている。

【0096】

画像形成装置１において、条件設定部１５１、設定内容回答部１５２、およびジョブ実行部１５３は、それぞれ、第一の実施形態の条件設定部１０１、設定内容回答部１０２、およびジョブ実行部１０３（図５参照）と同様の処理を行う。

【0097】

各ユーザには予め、それぞれを識別するためのユニークなＩＤであるユーザコードが与えられている。

【0098】

ログイン通知部１５４は、ユーザが画像形成装置１にログインした際に、このユーザのユーザコードを示すログイン通知データ５Ｊをサーバ３へ送信する。また、ユーザが画像形成装置１からログアウトした際に、このユーザのユーザコードを示すログアウト通知データ５Ｋをサーバ３へ送信する。

【0099】

なお、ユーザは、スマートスピーカ２に対して所定の言葉を発声することによって、画像形成装置１にログインすることができる。例えば、ログインおよびログアウトの際に、それぞれ「ログイン」および「ログアウト」と発声する。

【0100】

すると、スマートスピーカ２は、音声を集音して電子データ化し、画像形成装置１へ送信する。画像形成装置１には予め、ユーザごとの声紋が記憶されている。画像形成装置１は、声紋およびスマートスピーカ２から受信した電子データに基づいてユーザを判別し、ユーザを画像形成装置１にログインさせまたはログアウトさせる。

【0101】

そのほか、ユーザは、タッチパネルディスプレイ１０ｈに自分のユーザコードおよびパスワードを入力することによって画像形成装置１へログインし、所定のコマンドを入力することによって画像形成装置１からログアウトすることができる。または、画像形成装置１にカードリーダが備わっている場合は、自分のＩＣ（Integrated Circuit）カードに記録されているユーザコードをカードリーダに読み取らせることによって、画像形成装置１へログインしまたは画像形成装置１からログアウトすることができる。

【0102】

サーバ３において、ログイン処理部３５９は、ログイン通知データ５Ｊを画像形成装置１から受信すると、ログイン通知データ５Ｊに示されるユーザコードのユーザをサーバ３にもログインさせる。また、ログアウト通知データ５Ｋを画像形成装置１から受信すると、ログアウト通知データ５Ｋに示されるユーザコードのユーザをサーバ３からもログアウトさせる。以下、サーバ３にログインした状態であるユーザを「ログインユーザ」と記載する。

【0103】

カウンタ３５１は、予め、図１０に示すようにユーザごとに設定確認回数Ｘｂおよびジョブ指示回数Ｘｃをユーザコードに対応付けて有している。設定確認回数Ｘｂおよびジョブ指示回数Ｘｃの初期値はともに「０」である。設定確認回数Ｘｂおよびジョブ指示回数Ｘｃの意味および使い方は、後に順次、説明する。

【0104】

コマンド等特定部３５２は、第一の実施形態のコマンド等特定部３０２と同様に、コマンドデータ５Ａを受信すると、ユーザがスマートスピーカ２に入力したパラメータおよびコマンドを特定し、テキストデータ５Ｂを生成する。

【0105】

コマンド等特定部３５２によってテキストデータ５Ｂが生成されると、テキストデータ５Ｂに示されるコマンドに応じて条件設定指令部３５３、メッセージ生成部３５４、またはジョブ開始指令部３５８によって処理が行われる。各部の処理の方法は、条件設定指令部３０３、メッセージ生成部３０４、またはジョブ開始指令部３０８による処理の方法と同様である。

【0106】

カウンタ３５１は、コマンド等特定部３５２によってテキストデータ５Ｂが生成されると、テキストデータ５Ｂに示されるコマンドが「条件出力」である場合は、ログインユーザのユーザコードに対応する設定確認回数Ｘｂに「１」を足す。または、テキストデータ５Ｂに示されるコマンドが、画像形成装置１にジョブを開始させるものである場合は、ログインユーザのユーザコードに対応するジョブ指示回数Ｘｃに「１」を足す。

【0107】

再生速度決定部３５５は、ログインユーザの設定確認回数Ｘｂおよびジョブ指示回数Ｘｃに基づいて再生速度Ｓを次のように決定する。ジョブ指示回数Ｘｃに対する設定確認回数Ｘｂの割合が所定の割合Ｒａ未満である場合、つまり、Ｘｂ／Ｘｃ＜Ｒａ、である場合は、再生速度Ｓを中速に決定する。一方、Ｘｂ／Ｘｃ≧Ｒａ、である場合は、再生速度Ｓを高速に決定する。なお、所定の割合Ｒａは、管理者が任意に設定することができる。

【0108】

このように再生速度Ｓを決定する理由は、次の通りである。これから実行させるジョブについて設定されている条件を確認する頻度の多いユーザは、視覚障碍者またはタッチパネルディスプレイ１０ｈを使用しない人であると考えられる。このようなユーザは、スマートスピーカ２によって再生される音声を聞き慣れているので、標準的な速度で音声が再生されると遅く感じる。そこで、再生速度決定部３０５は、ジョブ指示回数Ｘｃに対する設定確認回数Ｘｂの割合が所定の割合Ｒａ以上であれば、ログインユーザが視覚障碍者またはタッチパネルディスプレイ１０ｈを使用しない人であると推定し、再生速度Ｓを高速に決定する。

【0109】

音声データ生成部３５６は、音声データ生成部３０６と同様に、メッセージ生成部３５４によって生成されたメッセージデータ５Ｄおよび再生速度決定部３５５によって決定された再生速度Ｓに基づいて音声データ５Ｇを生成する。

【0110】

音声データ送信部３５７は、音声データ生成部３５６によって生成された音声データ５Ｇをスマートスピーカ２へ送信する。

【0111】

図１１は、画像形成装置１の全体的な処理の流れの例を説明するためのフローチャートである。図１２～図１３は、サーバ３の全体的な処理の流れの例を説明するためのフローチャートである。

【0112】

次に、画像形成装置１およびサーバ３それぞれの、第二の実施形態における全体的な処理の流れを、フローチャートを参照しながら説明する。

【0113】

画像形成装置１は、図１１に示す手順の処理を連携プログラム１５０に基づいて実行する。サーバ３は、図１２～図１３に示す手順の処理を連携プログラム３５０に基づいて実行する。

【0114】

画像形成装置１は、所定のイベントが起きるごとに次のように処理を行う。ユーザが画像形成装置１にログインすると（図１１の＃７５１）、そのユーザのユーザコードを示すデータをログイン通知データ５Ｊとしてサーバ３へ送信する（＃７５２）。

【0115】

ステップ＃７５３～＃７５８の処理は、図６のステップ＃７１１～＃７１６の処理と同様である。

【0116】

または、ユーザが画像形成装置１からログアウトすると（＃７５９）、そのユーザのユーザコードを示すデータをログアウト通知データ５Ｋとしてサーバ３へ送信する（＃７６０）。

【0117】

サーバ３は、画像形成装置１またはスマートスピーカ２からデータを受信するごとに、次のように処理を行う。

【0118】

サーバ３は、画像形成装置１からログイン通知データ５Ｊを受信すると（図１２の＃７７１でＹｅｓ）、ログイン通知データ５Ｊに示されるユーザコードのユーザをサーバ３にログインさせる（＃７７２）。

【0119】

または、スマートスピーカ２からコマンドデータ５Ａを受信すると（＃７７３でＹｅｓ）、コマンドデータ５Ａをテキストデータ５Ｂに変換する（＃７７４）。そして、テキストデータ５Ｂに示される内容つまりユーザが発声した内容に応じて次のように処理を行う。

【0120】

ステップ＃７７５～＃７８１の処理は基本的に第一の実施形態のステップ＃７３２～＃７３８（図８参照）の処理と同様である。ただし、コマンドがジョブの条件の出力のコマンドである場合に（＃７７８でＹｅｓ）、画像形成装置１は、受付回数Ｘａではなくログインユーザの設定確認回数Ｘｂに「１」を足す（＃７７９）。

【0121】

サーバ３は、ステップ＃７８０または＃７８１でメッセージデータ５Ｄを生成すると、Ｘｂ／Ｘｃ＜Ｒａ、であれば（＃７８２でＹｅｓ）、再生速度Ｓを中速に決定する（＃７８３）。Ｘｂ／Ｘｃ≧Ｒａ、であれば（＃７８２でＮｏ）、再生速度Ｓを高速に決定する（＃７８４）。なお、設定確認回数Ｘｂおよびジョブ指示回数Ｘｃはいずれも、ログインユーザのものである。

【0122】

そして、サーバ３は、メッセージデータ５Ｄに示されるメッセージを再生速度Ｓで読み上げるための音声データ５Ｇを生成し、スマートスピーカ２へ送信する（図１３の＃７８５）。なお、メッセージデータ５Ｄがステップ＃７８１で生成されたものである場合は、ステップ＃７８２～＃７８４の処理をスキップし、中速で読み上げるためのデータを音声データ５Ｇとして生成してもよい。

【0123】

または、テキストデータ５Ｂに示されるコマンドが画像形成装置１にジョブを開始させるものである場合は（＃７８６でＹｅｓ）、サーバ３は、第一の実施形態と同様にジョブ指令データ５Ｈを画像形成装置１へ送信する（＃７８７）。そして、ログインユーザのジョブ指示回数Ｘｃに「１」を足す（＃７８８）。

【0124】

サーバ３は、画像形成装置１からログアウト通知データ５Ｋを受信すると（＃７８９でＹｅｓ）、ログアウト通知データ５Ｋに示されるユーザコードのユーザをサーバ３からログインさせる（＃７９０）。

【0125】

〔第三の実施形態〕
図１４は、画像形成装置１、スマートスピーカ２、およびサーバ３それぞれの機能的構成の例を示す図である。図１５は、フラグＦ１の例を示す図である。図１６は、速度決定処理の流れの例を説明するためのフローチャートである。

【0126】

第一の実施形態では受付回数Ｘａに基づいて再生速度Ｓを決定し、第二の実施形態ではジョブ指示回数Ｘｃに対する設定確認回数Ｘｂの割合に基づいて再生速度Ｓを決定した。第三の実施形態では、ユーザの属性に基づいて再生速度Ｓを決定する。以下、この仕組みについて説明する。第一の実施形態または第二の実施形態と重複する点については、説明を省略する。

【0127】

画像処理システム４の全体的な構成は、第一の実施形態と同様であり、図１に示した通りである。画像形成装置１、スマートスピーカ２、およびサーバ３のハードウェアの構成も第一の実施形態と同様であり、それぞれ、図２、図３、および図４に示した通りである。

【0128】

ただし、画像形成装置１のＵＳＢボード１０ｇには、ビデオカメラ１０Ｒが接続されている。ビデオカメラ１０Ｒは、デジタルビデオカメラであって、ユーザが画像形成装置１を使用している際の様子の動画像を撮影する。動画像のデータは、ＵＳＢボード１０ｇを介して画像形成装置１へ入力され、サーバ３へ送信される。そして、後述する再生速度決定部３７５（図１４参照）において用いられる。なお、ビデオカメラ１０Ｒは画像形成装置１に固定されているものとする。

【0129】

画像形成装置１のＲＯＭ１０ｃまたは補助記憶装置１０ｄには、連携プログラム１００、１５０の代わりに連携プログラム１７０が記憶されている。連携プログラム１７０によると、図１４に示す条件設定部１７１、設定内容回答部１７２、ジョブ実行部１７３、ログイン通知部１７４、および動画像送信部１７５などが画像形成装置１に実現される。

【0130】

サーバ３のＲＯＭ３０ｃまたは補助記憶装置３０ｄには、連携プログラム３００、３５０の代わりに連携プログラム３７０が記憶されている。連携プログラム３７０によると、図１４に示すユーザ属性記憶部３７１、コマンド等特定部３７２、条件設定指令部３７３、メッセージ生成部３７４、再生速度決定部３７５、音声データ生成部３７６、音声データ送信部３７７、ジョブ開始指令部３７８、およびログイン処理部３７９などがサーバ３に実現される。

【0131】

スマートスピーカ２のＲＯＭ２０ｃには、第一の実施形態および第二の実施形態と同様に、連携プログラム２００が記憶されている。

【0132】

画像形成装置１において、条件設定部１７１、設定内容回答部１７２、およびジョブ実行部１７３、およびログイン通知部１７４は、それぞれ、第一の実施形態または第二の実施形態の条件設定部１０１、１５１、設定内容回答部１０２、１５２、ジョブ実行部１０３、１５３、およびログイン通知部１５４（図５、図９参照）と同様の処理を行う。

【0133】

動画像送信部１７５は、ビデオカメラ１０Ｒから入力された動画像のデータを動画像データ５Ｌとしてサーバ３へ送信する。なお、動画像データ５Ｌには、画像形成装置１にログインしているユーザのユーザコードが対応付けられる。

【0134】

サーバ３において、ユーザ属性記憶部３７１は、予め、図１５に示すようにユーザごとにフラグＦ１をユーザコードに対応付けて記憶している。フラグＦ１は、視覚障碍者であるか否かを示し、「１」が視覚障碍者であることを意味する。フラグＦ１の初期値は「０」である。

【0135】

ログイン処理部３７９は、第二の実施形態のログイン処理部３５９と同様に、ログインおよびログアウトの処理を行う。

【0136】

コマンド等特定部３７２は、第一の実施形態または第二の実施形態のコマンド等特定部３０２、３５２と同様に、コマンドデータ５Ａを受信すると、ユーザがスマートスピーカ２に入力したパラメータおよびコマンドを特定し、テキストデータ５Ｂを生成する。

【0137】

コマンド等特定部３７２によってテキストデータ５Ｂが生成されると、テキストデータ５Ｂに示されるコマンドに応じて条件設定指令部３７３、メッセージ生成部３７４、またはジョブ開始指令部３７８によって処理が行われる。各部の処理の方法は、条件設定指令部３０３、３５３、メッセージ生成部３０４、３５４、またはジョブ開始指令部３０８、３５８による処理の方法と同様である。

【0138】

再生速度決定部３７５は、図１６に示す方法で再生速度Ｓを決定する。ログインユーザのフラグＦ１をユーザ属性記憶部３７１から読み出す（＃８０１）。フラグＦ１の値が「１」である場合は（＃８０２でＹｅｓ）、再生速度Ｓを高速に設定する（＃８０３）。

【0139】

フラグＦ１の値が「０」である場合は（＃８０２でＮｏ）、コマンド等特定部３７２によって生成されたテキストデータ５Ｂに示されるコマンドが「条件出力」でなければ（＃８０４でＮｏ）、再生速度決定部３７５は、再生速度Ｓを中速に設定する（＃８０５）。一方、テキストデータ５Ｂに示されるコマンドが「条件出力」であれば（＃８０４でＹｅｓ）、ログインユーザの動画像データ５Ｌを解析することによって、ログインユーザがタッチパネルディスプレイ１０ｈを見ながらスマートスピーカ２に音声を入力しているか否かを判別する（＃８０６）。

【0140】

タッチパネルディスプレイ１０ｈを見ているか否かは、公知の方法によって判別すればよい。例えば、ログインユーザの顔の位置および姿勢と、ビデオカメラ１０Ｒの位置および姿勢と、タッチパネルディスプレイ１０ｈの位置および姿勢との関係に基づいて判別することができる。ログインユーザの顔の位置および姿勢は、動画像データ５Ｌによって再現される動画像から算出することができる。

【0141】

サーバ３は、ログインユーザがタッチパネルディスプレイ１０ｈを見ながら音声を入力していると判別した場合は（＃８０７でＹｅｓ）、再生速度Ｓを中速に決定する（＃８０８）。タッチパネルディスプレイ１０ｈを見ずに音声を入力していると判別した場合は（＃８０７でＮｏ）、再生速度Ｓを高速に決定するとともに（＃８０９）、ログインユーザのフラグＦ１を「１」に更新する（＃８１０）。

【0142】

音声データ生成部３７６は、音声データ生成部３０６、３５６と同様に、メッセージ生成部３７４によって生成されたメッセージデータ５Ｄおよび再生速度決定部３７５によって決定された再生速度Ｓに基づいて音声データ５Ｇを生成する。

【0143】

音声データ送信部３７７は、音声データ生成部３７６によって生成された音声データ５Ｇをスマートスピーカ２へ送信する。

【0144】

図１７は、画像形成装置１の全体的な処理の流れの例を説明するためのフローチャートである。図１８は、サーバ３の全体的な処理の流れの例を説明するためのフローチャートである。

【0145】

次に、画像形成装置１およびサーバ３それぞれの、第三の実施形態における全体的な処理の流れを、フローチャートを参照しながら説明する。

【0146】

画像形成装置１は、図１７に示す手順の処理を連携プログラム１７０に基づいて実行する。サーバ３は、図１８に示す手順の処理を連携プログラム３７０に基づいて実行する。

【0147】

画像形成装置１は、所定のイベントが起きるごとに図１７に示すように処理を行う。図１７を図１１と比較して分かるように、基本的には、第二の実施形態における処理の流れと同じである。ただし、第三の実施形態では、画像形成装置１は、ビデオカメラ１０Ｒによって得られた動画像を動画像データ５Ｌとしてサーバ３へ送信する（図１７の＃８５３）。

【0148】

なお、画像形成装置１は、ユーザが画像形成装置１にログインしてからログアウトするまでの間、ストリーミングの技術によって動画像データ５Ｌを一部分ずつリアルタイムに送信もよいし、サーバ３において動画像データ５Ｌが必要になった時点で、この時点までの動画像を纏めたデータを動画像データ５Ｌとして送信してもよい。

【0149】

サーバ３は、画像形成装置１またはスマートスピーカ２からデータを受信するごとに、図１８に示すように処理を行う。

【0150】

図１８を図１２～図１３と比較して分かるように、基本的には、第二の実施形態における処理の流れと同じである。ただし、第三の実施形態では、サーバ３は、設定確認回数Ｘ２およびジョブ指示回数Ｘ３の代わりにログインユーザの動画像データ５Ｌに基づいて再生速度Ｓを決定する（図１８の＃８８０）。再生速度Ｓを決定する具体的な方法は、前に図１６で説明した通りである。

【0151】

第一ないし第三の実施形態によると、ログインユーザに応じて再生速度Ｓが決定されメッセージが再生されるので、スマートスピーカ２をログインユーザにとって従来よりも使用しやすくすることができる。

【0152】

〔変形例〕
図１９は、画像形成装置１に設定されているジョブの条件を示す画面９０の例を示す図である。

【0153】

第一ないし第三の実施形態では、所定の回数Ｔａが２回である場合を例示したが、所定の回数Ｔａは、１回であってもよいし、３回以上であってもよい。

【0154】

または、所定の要件を満たす場合は、受付回数Ｘａが所定の回数Ｔａ以上であるか否かに関わらず、再生速度決定部３０５は、再生速度Ｓを特定の速度に決定してもよい。これについては、後に順次、説明する。

【0155】

第一ないし第三の実施形態では、画像形成装置１に設定されているジョブの条件などのメッセージをスマートスピーカ２が音声によって出力したが、さらに、タッチパネルディスプレイ１０ｈが文字列または図１９のようなＧＵＩ（Graphical User Interface）の画面９０を表示させることによって出力してもよい。

【0156】

この場合は、サーバ３は、メッセージデータ５Ｄを画像形成装置１へ送信する。画像形成装置１は、メッセージデータ５Ｄを受信すると、メッセージデータ５Ｄに示されるメッセージを文字列で表わす画面を生成し、タッチパネルディスプレイ１０ｈによって表示する。画面を表示するにはメッセージデータ５Ｄを音声化する必要がなく、かつ、メッセージデータ５Ｄは音声データ５Ｇよりもサイズが小さいので、メッセージは、スマートスピーカ２よりも早くタッチパネルディスプレイ１０ｈから出力される。

【0157】

しかし、画像形成装置１のＣＰＵ１０ａの処理の負荷または画像形成装置１とサーバ３との間のトラフィックの影響により、本来の、画像形成装置１へメッセージデータ５Ｄを送信してから画面が表示されるまでに要する所要時間Ｔｃを経過しても、画面が表示されないことがある。このような場合は、スマートスピーカ２から出力される音声の聞き取りに慣れていないユーザが、このような不具合が生じているために、ジョブの条件を音声で確認しようとしている可能性がある。

【0158】

そこで、このような場合は、サーバ３は、再生速度Ｓを高速に決定したとしても、中速でメッセージが再生されるように音声データ５Ｇを生成し、スマートスピーカ２へ送信してもよい。

【0159】

画像形成装置１に設定されているジョブの条件がタッチパネルディスプレイ１０ｈに表示されている状態であるにも関わらず、この条件を確認するためにユーザがスマートスピーカ２に向かって条件の出力の指令を入力する場合がある。このような場合は、ユーザが視覚障碍者またはタッチパネルディスプレイ１０ｈを使用しない人であると考えられる。

【0160】

そこで、このような場合は、受付回数Ｘａに関わらず、再生速度決定部３０５は、再生速度Ｓを高速に決定してもよい。

【0161】

第二の実施形態では、図１２～図１３のフローチャートに示した通り、サーバ３は、設定確認回数Ｘｂへの「１」の加算を、再生速度Ｓを決定する前に行ったが、再生速度Ｓを決定した後に行ってもよい。

【0162】

第三の実施形態では、サーバ３は、ログインユーザがタッチパネルディスプレイ１０ｈを見ながらスマートスピーカ２に音声を入力している場合に、ログインユーザが視覚障害者であると判別し、ログインユーザのフラグＦ１を「１」に更新したが、ログインユーザとタッチパネルディスプレイ１０ｈとの位置関係が所定の関係である場合に、ログインユーザが視覚障害者であると判別し、ログインユーザのフラグＦ１を「１」に更新してもよい。例えば、ログインユーザがスマートスピーカ２に音声を入力している際の、ログインユーザとタッチパネルディスプレイ１０ｈとの距離が所定の距離（例えば、２メートル）以上であれば、視覚障害者であると判別してもよい。または、ログインユーザがスマートスピーカ２に音声を入力している際に、タッチパネルディスプレイ１０ｈの見えにくい位置（例えば、画像形成装置１の背面側または側面側）にログインユーザがいれば、視覚障害者であると判別してもよい。または、ログインユーザとタッチパネルディスプレイ１０ｈとの距離がログインユーザとスマートスピーカ２との距離よりも長い場合に、視覚障害者であると判別してもよい。

【0163】

なお、ログインユーザとタッチパネルディスプレイ１０ｈとの位置関係および上述の各距離は、近接センサまたはＲＦＩＤ（Radio Frequency Identification）などの公知の技術によって求めればよい。

【0164】

ところで、ユーザが条件出力のコマンドを音声で所定の時間（例えば、１分間）に複数回、入力する場合がある。このような場合は、再生速度が速いためにユーザがメッセージを聞き漏らしていることが考えられる。そこで、このような場合は、第一ないし第三の実施形態において、サーバ３は、再生速度Ｓを中速に決定すればよい。または、中速よりも遅い速さ（低速）に決定してもよい。または、このような場合が１回ではなく複数回（例えば、３回）以上あった場合に、再生速度Ｓを中速または低速に決定してもよい。

【0165】

第一ないし第三の実施形態において、サーバ３は、予め決められた事項については、決定した再生速度Ｓに関わらず中速または低速で再生されるように音声データ５Ｇを生成してもよい。例えば、ジョブの条件のうちデフォルト値については再生速度Ｓで再生され、ユーザが変更したものについては中速または低速で再生されるように音声データ５Ｇを生成してもよい。または、「スキャンデータの送信先は、[e-mail] です。」というメッセージの中の電子メールアドレスつまり「[e-mail]」については中速または低速で再生されそれ以外の部分については高速で再生されるように音声データ５Ｇを生成してもよい。

【0166】

第一ないし第三の実施形態において、ユーザが「ゆっくり」または「もっとゆっくり」のように再生速度を音声でスマートスピーカ２に入力した場合は、サーバ３は、決定した再生速度Ｓに関わらず、入力された再生速度でメッセージが再生されるように音声データ５Ｇを生成すればよい。

【0167】

第一ないし第三の実施形態では、サーバ３が音声データ５Ｇを生成したがスマートスピーカ２が生成してもよい。この場合は、サーバ３は、スマートスピーカ２へメッセージデータ５Ｄを送信するとともに、再生速度Ｓをスマートスピーカ２へ通知すればよい。

【0168】

第一ないし第三の実施形態では、スマートスピーカ２およびサーバ３は、画像形成装置１を介さずに通信したが、画像形成装置１を介して通信してもよい。または、音声の入出力を行うハードウェアが画像形成装置１に備わっている場合は、連携プログラム２００を画像形成装置１にインストールし、このハードウェアをスマートスピーカ２として機能させてもよい。

【0169】

第一ないし第三の実施形態では、ジョブの条件を画像形成装置１に設定したが、サーバ３に設定してもよい。この場合は、各項目のデフォルト値をサーバ３に記憶させておき、ジョブの実行が指令された際に、ユーザがスマートスピーカ２を介して音声で指定した条件と条件が指定されなかった項目のデフォルト値とを画像形成装置１へ通知すればよい。

【0170】

第一ないし第三の実施形態では、ユーザは「コピー ３部 両面 設定」または「コピー 条件出力」のようにパラメータまたはコマンドのみを音声で入力したが、「コピーの条件を３部、両面に設定して下さい。」または「コピーの設定を教えて。」のような話し言葉で入力できるようにしてもよい。この場合は、サーバ３は、言語解析の公知の技術によってパラメータおよびコマンドを話し言葉から抽出すればよい。また、サーバ３は、コマンドを受け付けた際に適宜、「コピーの条件を３部、両面に設定するのですね。よろしいですか。」または「承知しました。」のように確認を求めるメッセージまたはコマンドを受け付けたことを知らせるメッセージをスマートスピーカ２から音声で出力させてもよい。

【0171】

その他、画像処理システム４、画像形成装置１、スマートスピーカ２、サーバ３の全体または各部の構成、処理内容、処理順序、データベースの構成などは、本発明の趣旨に沿って適宜変更することができる。

【符号の説明】

【0172】

４ 画像処理システム（ジョブ処理システム）
１ 画像形成装置（ジョブ実行手段）
１０ｈ タッチパネルディスプレイ（ディスプレイ）
２ スマートスピーカ（再生手段、音声入力手段、音声再生装置）
３ サーバ（制御手段）
３０５ 再生速度決定部（音声制御手段）
３０６ 音声データ生成部（音声制御手段）
３０７ 音声データ送信部（音声制御手段）
３０８ ジョブ開始指令部（ジョブ制御手段）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】