特許 7430034 画像形成装置、画像形成方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-01

(45)【発行日】2024-02-09

(54)【発明の名称】画像形成装置、画像形成方法及びプログラム

(51)【国際特許分類】

   G06F 3/16 20060101AFI20240202BHJP

   B41J 29/42 20060101ALI20240202BHJP

   G03G 21/00 20060101ALI20240202BHJP

   G06F 3/0488 20220101ALI20240202BHJP

   G06F 3/01 20060101ALI20240202BHJP

   H04N 1/00 20060101ALI20240202BHJP

【ＦＩ】

G06F3/16 630

B41J29/42 F

G03G21/00 376

G06F3/16 650

G06F3/16 610

G06F3/16 620

G06F3/0488

G06F3/01 510

H04N1/00 350

【請求項の数】 7

(21)【出願番号】P 2019086054

(22)【出願日】2019-04-26

(65)【公開番号】P2020181527

(43)【公開日】2020-11-05

【審査請求日】2022-02-21

【前置審査】

(73)【特許権者】

【識別番号】000005049

【氏名又は名称】シャープ株式会社

(74)【代理人】

【識別番号】100112335

【弁理士】

【氏名又は名称】藤本 英介

(74)【代理人】

【識別番号】100101144

【弁理士】

【氏名又は名称】神田 正義

(74)【代理人】

【識別番号】100101694

【弁理士】

【氏名又は名称】宮尾 明茂

(74)【代理人】

【識別番号】100124774

【弁理士】

【氏名又は名称】馬場 信幸

(72)【発明者】

【氏名】奥村 允

(72)【発明者】

【氏名】棟朝 洋樹

(72)【発明者】

【氏名】景山 洋行

【審査官】木村 慎太郎

(56)【参考文献】

【文献】特開２００１－０１４１３４（ＪＰ，Ａ）

【文献】特開２０１１－０３９５７１（ＪＰ，Ａ）

【文献】特開２００６－３３０５７６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／１６

Ｂ４１Ｊ ２９／４２

Ｇ０３Ｇ ２１／００

Ｇ０６Ｆ ３／０４８８

Ｇ０６Ｆ ３／０１

Ｈ０４Ｎ １／００

(57)【特許請求の範囲】

【請求項1】

制御部と表示部と画像形成部とを備え、音声操作により処理機能を実行可能な画像形成装置において、
前記制御部は、
前記表示部に、タッチ操作において実行可能な処理機能に対応する操作キーと前記処理機能の詳細設定を受付ける設定キーとを含むタッチ操作用画面と、前記音声操作において利用される画面であって、音声操作モードが実行中であることを示すアイコンを含む音声操作用画面とを表示可能であり、
前記音声操作により音声による操作を開始する第１のコマンドが入力されたことに基づいて、前記タッチ操作用画面から、前記音声操作用画面に切り替え、
前記音声操作により第２のコマンドが音声入力されたことに基づいて前記画像形成部において処理機能を実行し、
前記音声操作用画面には、前記タッチ操作においてのみ利用する項目は含まれていないことを特徴とする画像形成装置。

【請求項2】

前記音声操作用画面には、第１音声操作用画面と、第２音声操作用画面とを含み、
前記制御部は、
前記第１のコマンドが音声入力されると、実行可能な処理機能が表示された前記第１音声操作用画面を表示し、
前記処理機能に対する第３のコマンドが音声入力されると、当該第３のコマンドに基づいて前記処理機能に関する設定項目を変更する前記第２音声操作用画面を表示し、
前記設定項目に基づいて、前記画像形成部において前記処理機能を実行する、
ことを特徴とする請求項１に記載の画像形成装置。

【請求項3】

前記音声操作用画面は、音声操作を受け付ける項目のみを表示することを特徴とする請求項１に記載の画像形成装置。

【請求項4】

前記音声操作用画面は、発話に使用するテキスト情報を表示することを特徴とする請求項１に記載の画像形成装置。

【請求項5】

前記画像形成装置の起動直後、または、前記音声操作用画面の表示中に所定の時間内に前記第２のコマンドを受信しなかった場合は、タッチ操作を受け付けるための待機画面を表示することを特徴とする請求項１に記載の画像形成装置。

【請求項6】

制御部と表示部と画像形成部とを備えて、音声操作により処理機能を実行可能な画像形成装置の画像形成方法において、
前記表示部に、タッチ操作において実行可能な処理機能に対応する操作キーと前記処理機能の詳細設定を受付ける設定キーとを含むタッチ操作用画面と、前記音声操作において利用される画面であって、音声操作モードが実行中であることを示すアイコンを含む音声操作用画面とを表示可能であり、
前記音声操作により音声による操作を開始する第１のコマンドが音声入力されたことに基づいて、前記タッチ操作用画面から、前記音声操作用画面に切り替え、
前記音声操作により第２のコマンドが音声入力されたことに基づいて前記画像形成部において処理機能を実行し、
前記音声操作用画面には、前記タッチ操作においてのみ利用する項目は含まれていない
ことを特徴とする画像形成方法。

【請求項7】

制御部と表示部と画像形成部とを備えて、音声操作により処理機能を実行可能な画像形成装置のプログラムであって、
コンピュータに、
前記表示部に、タッチ操作において実行可能な処理機能に対応する操作キーと前記処理機能の詳細設定を受付ける設定キーとを含むタッチ操作用画面と、前記音声操作において利用される画面であって、音声操作モードが実行中であることを示すアイコンを含む音声操作用画面とを表示可能であり、
前記音声操作により音声による操作を開始する第１のコマンドが入力されたことに基づいて、前記タッチ操作用画面から、前記音声操作用画面に切り替え、
前記音声操作により第２のコマンドが音声入力されたことに基づいて前記画像形成部において処理機能を実行する実行機能を実現し、
前記音声操作用画面には、前記タッチ操作においてのみ利用する項目は含まれていないことを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像形成装置等に係り、特に、音声指示することが可能な画像形成装置等に関する。

【背景技術】

【0002】

従来の画像形成装置においては、ユーザの要求を満足するために、通常のコピー操作でも、多数の設定項目が存在する。そのため、操作に不慣れなユーザにとっては操作方法が解り難く、操作ミスや操作に時間が掛かるという問題があった。

【0003】

そこで、その問題を解決するために、従来技術として、特許文献１に記載されている「かんたん設定」や、特許文献２に記載されている「かんたんコピー」等の機能を備えて、ユーザが基本的な操作を簡単に指示することができるようにしたものが開示されている。

【0004】

「かんたん設定」や「かんたんコピー」等の機能では、よく使う設定項目と各設定値の組合せを予め複数セット準備して選択肢として表示したり、設定項目を絞り込んだりすることで、ユーザの操作を簡略化することを目指している。

【0005】

一方、近年の画像形成装置においては、音声入力部を備えて、ユーザと装置との対話によりユーザの音声による指示に応じてジョブの設定や処理を行うようにして、ユーザが手動操作を行わずにジョブを実行するようにしたものが知られている。

【0006】

しかしながら、音声の指示によりシンプルな操作を行おうとする場合、上記従来技術による「かんたん設定」や「かんたんコピー」等の機能を用いても容易にではなかった。

【先行技術文献】

【特許文献】

【0007】

【文献】特開２０１８－１５７２４１号公報

【文献】特開２０１７－５４７５号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

特許文献１に開示された技術では、例えば、「かんたん設定」において、コピー属性値を組み合わせた３つの選択肢が表示されている場合、どのように「発話」して指示するかが容易にできないという問題が生じる。

【0009】

例えば、表示されている文言を読み上げて、音声指示をするようにしてもよいが、指示内容が多い（文言が長い）と音声指示が煩雑となり、却って面倒な操作になるという問題が生じる。

【0010】

また、例えば、「倍率は100%、3部、濃度は薄く、トレイ2に出力、ステープル無し、パンチ無し、ソート有り」、等のように文言が長くなると音声認識に失敗する確率が高まるという問題が生じる。

【0011】

また、特許文献２に開示された技術では、例えば、「かんたんコピー」の設定において、濃度や給紙トレイに関する設定値を変更する場合、どのように「発話」して指示するかが容易にできないという問題が生じる。

【0012】

このように、従来の画像形成装置においては、簡単な操作を可能とする画面UIについては上述した特許技術１，２により開示されているものの、音声操作により簡単に指示することは容易に行うことはできなかった。

【0013】

本発明は、上記従来の課題に鑑みてなされたものであり、ユーザの操作性を向上させることができる画像形成装置等を提供することを目的とする。

【課題を解決するための手段】

【0014】

本発明に係る画像形成装置は、制御部と表示部と画像形成部とを備え、音声操作により処理機能を実行可能な画像形成装置において、前記制御部により、前記表示部にコマンド表示を含む音声操作用画面を表示し、音声操作によりコマンドが音声入力されたことに基づいて、前記画像形成部において処理機能を実行することを特徴とする。

【0015】

また、本発明に係る画像形成方法は、制御部と表示部と画像形成部とを備えて、音声操作により処理機能を実行可能な画像形成装置の画像形成方法において、前記表示部にコマンド表示を含む音声操作用画面を表示する工程と、音声操作によりコマンドが音声入力されたことに基づいて、前記画像形成部において処理機能を実行する工程、を備えることを特徴とする。

【0016】

また、本発明に係るプログラムは、制御部と表示部と画像形成部とを備えて、音声操作により処理機能を実行可能な画像形成装置のプログラムであって、コンピュータに、前記表示部にコマンド表示を含む音声操作用画面を表示する表示機能と、音声操作によりコマンドが音声入力されたことに基づいて、前記画像形成部において処理機能を実行する実行機能と、を実現させることを特徴とする。

【発明の効果】

【0017】

本発明の画像形成装置等によれば、音声操作を容易に且つ明確に行うことができるので、ユーザの操作性を向上させることができる。

【図面の簡単な説明】

【0018】

【図1】第１実施形態に係る画像形成装置を採用した画像形成システムの構成を示す説明図である。

【図2】前記画像形成装置の全体の構成を示す説明図である。

【図3】前記画像形成装置の電気的構成を示すブロック図である。

【図4】前記画像形成システムを構成する音声装置の構成を示すブロック図である。

【図5】前記画像形成システムを構成する音声認識サーバの構成を示すブロック図である。

【図6】前記画像形成システムを構成する対話サーバの構成を示すブロック図である。

【図7】前記対話サーバの記憶部に記憶されるＭＦＰ能力・ステータス管理テーブルの一例を示す説明図である。

【図8】前記画像形成装置の表示部に表示される待機画面の一例を示す説明図である。

【図9】前記画像形成装置において音声操作が開始されたときに表示部に表示される第１音声操作用画面の一例を示す説明図である。

【図10】前記画像形成装置における音声操作においてコマンドが指示されたときに表示部に表示される第２音声操作用画面の一例を示す説明図である。

【図11】は前記画像形成装置における音声操作においてジョブが実行されるときのジョブ実行画面の一例を示す説明図である。

【図12】第１実施形態に係る画像形成システムにおいて音声指示を行う場合の動作処理を示すシーケンス図である。

【図13】前記画像形成システムにおける画像形成装置の表示部の音声操作用画面に表示されるテキストメッセージの一例を示す説明図である。

【図14】前記テキストメッセージのその他の例を示す説明図である。

【図15】第２実施形態に係る画像形成装置において音声操作によりコピー部数の設定を行う音声操作用画面の一例を示す説明図である。

【図16】前記画像形成装置において音声操作によりカラーモードの設定を行う音声操作用画面の一例を示す説明図である。

【図17】前記画像形成装置において音声操作により両面印刷の設定を行う音声操作用画面の一例を示す説明図である。

【図18】第５実施形態に係る画像形成システムを構成する画像形成装置の電気的構成を示すブロック図である。

【図19】前記画像形成システムを構成する対話サーバの構成を示すブロック図である。

【図20】前記画像形成装置の記憶部に記憶される管理テーブルの一例を示す説明図である。

【図21】前記画像形成システムにおいて音声指示を行う場合の動作処理を示すシーケンス図である。

【発明を実施するための形態】

【0019】

（第１実施形態）
以下、本発明の第１実施形態について図面を参照して説明する。
図１は発明を実施する形態の一例であって、本発明の第１実施形態に係る画像形成装置を採用した画像形成システムの構成を示す説明図、図２は前記画像形成装置の全体の構成を示す説明図、図３は前記画像形成装置の電気的構成を示すブロック図、図４は前記画像形成システムを構成する音声装置の構成を示すブロック図、図５は前記画像形成システムを構成する音声認識サーバの構成を示すブロック図、図６は前記画像形成システムを構成する対話サーバの構成を示すブロック図、図７は前記対話サーバの記憶部に記憶される管理テーブルの一例を示す説明図である。

【0020】

（画像形成システムの構成）
第１実施形態は、図１に示すように、画像形成装置１０と、音声装置２０と、外部サーバである音声認識サーバ３０と、対話サーバ４０とをネットワークＮＷを介して通信接続された画像形成システム１である。

【0021】

画像形成システム１は、音声認識サーバ３０において、音声装置２０より入力された音声を認識して、テキストデータに変換して対話サーバ４０に送信する。そして、対話サーバ４０において、受信したテキストデータに基づいて画像形成装置１０に対してコマンドが指示される。

【0022】

第１実施形態は、画像形成装置１０において、対話サーバ４０に画像形成装置１０がポーリングして指示を取得し、取得した指示に基づいて、表示部にコマンドの表示（テキスト）を含む音声操作用画面を表示し、音声装置２０からの音声によるコマンドに基づいて、ジョブを実行することを特徴としている。

【0023】

（画像形成装置の構成）
まず、第１実施形態に係る画像形成装置１０の構成について説明する。

【0024】

画像形成装置１０は、図１に示すように、ネットワークＮＷを介して音声装置２０と音声認識サーバ３０と対話サーバ４０とに通信可能に接続されて、電子写真方式により画像を出力する情報処理装置である。

【0025】

画像形成装置１０は、図３に示すように、主に、制御部１００と、画像入力部１１０と、原稿読取部１１２と、画像処理部１２０と、画像形成部１３０と、操作部１４０と、表示部１５０と、記憶部１６０と、通信部１７０とを備えて構成されることを特徴としている。

【0026】

制御部１００は、画像形成装置１０の全体を制御するための機能部である。
そして、制御部１００は、各種プログラムを読み出して実行することにより各種機能を実現しており、例えば１又は複数の演算装置（例えば、ＣＰＵ（Central Processing Unit））等により構成されている。

【0027】

画像入力部１１０は、画像形成装置１０に入力される画像データを読み取るための機能部である。画像入力部１１０は、原稿の画像を読み取る機能部である原稿読取部１１２と接続され、原稿読取部１１２から出力される画像データを入力する。画像入力部１１０は、入力された画像データは、記憶部１６０の読み取りデータ１６０２に記憶される。

【0028】

また、画像入力部１１０は、ＵＳＢ（Universal Serial Bus）メモリや、ＳＤカード等の記憶媒体から画像データを入力してもよい。また、他の端末装置と接続を行う通信部を備えて、他の端末装置から画像データを入力してもよい。

【0029】

画像処理部１２０は、画像データに基づく出力データを記録媒体（例えば記録用紙）に形成するための機能部である。例えば、図２に示すように、給紙トレイ１２２から記録用紙を給紙し、画像処理部１２０において記録用紙の表面に画像が形成された後に排紙トレイ１２４から排紙される。画像処理部１２０は、例えば電子写真方式を利用したレーザプリンタ等により構成されている。

【0030】

画像形成部１３０は、画像データに各種画像処理を施す機能部である。そして、画像処理が施された画像データに基づき出力画像を形成する。

【0031】

操作部１４０は、ユーザによる操作指示を受け付けるための機能部であり、各種キースイッチや、接触による入力を検出する装置等により構成されている。ユーザは、操作部１４０を介して、使用する機能や出力条件を入力する。
表示部１５０は、ユーザに各種情報を表示するための機能部であり、例えばＬＣＤ（Liquid crystal display）等により構成されている。

【0032】

なお、画像形成装置１０は、図２に示すように、操作パネル１４１と、表示部１５０とが一体に形成されているタッチパネルを備えてもよい。この場合において、タッチパネルの入力を検出する方式は、例えば、抵抗膜方式、赤外線方式、電磁誘導方式、静電容量方式といった、一般的な検出方式であればよい。

【0033】

記憶部１６０は、画像形成装置１０の動作に必要な制御プログラム１６０１を含む各種プログラムや、読み取りデータ１６０２を含む各種データやユーザ情報１６０３が記憶されている機能部である。記憶部１６０は、例えば、半導体メモリであるＳＳＤ（Solid State Drive）や、ＨＤＤ（Hard Disk Drive）等により構成されている。

【0034】

第１実施形態では、画像形成装置１０において、表示部１５０に初期画面としてタッチ操作を受け付ける待機画面が表示される。記憶部１６０には、待機画面を表示するための待機画面情報１６１１を備えている。

【0035】

通信部１７０は、ネットワークＮＷを介して対話サーバ４０と通信可能に接続を行う。
画像形成装置１０は、通信部１７０を介して対話サーバ４０から画像形成装置１０の動作に係る指示を取得する。具体的には後述する音声装置に入力された音声コマンドに対応する指示を対話サーバ４０から取得する。

【0036】

第１実施形態では、画像形成装置１０は、音声操作が開始されるときに、制御部１００により、対話サーバ４０からの指示に基づいて音声操作用の表示画面（第１音声操作用画面）を表示部１５０に表示することを特徴としている。

【0037】

また、第１実施形態では、画像形成装置１０は、制御部１００により、対話サーバ４０からの指示に基づいて表示部１５０に表示された音声操作用の表示画面（第１音声操作用画面）を他の音声操作用の表示画面（第２音声操作用画面）に切り替えることを特徴としている。

【0038】

（音声装置の構成）
音声装置２０は、図４に示すように、主に、制御部２００と、音声入力部（マイク）２１０と、音声出力部（スピーカ）２２０と、通信部２７０とを備えることを特徴とする。

【0039】

制御部２００は、音声装置２０の全体を制御するための機能部である。
そして、制御部２００は、例えば１又は複数の演算装置（例えば、ＣＰＵ（Central Processing Unit））等により構成されている。

【0040】

音声入力部２１０は、ユーザから発声される音声を入力し、音声データとして出力する。一般的にはマイク等の入力装置であるが、外部に接続された装置であってもよい。また、音声入力部２１０は、単純に入力された音声信号を制御部２００に出力し、制御部２００が音声データとして出力してもよい。

【0041】

音声出力部２２０は、音声データを出力する。一般的にはスピーカ等の出力装置であるが、外部に接続された装置であってもよい。音声出力部２２０は、音声データが入力されたものを復調して音声として出力してもよいし、制御部２００が音声データから復調した音声を受信し、出力してもよい。

【0042】

なお、音声装置２０として、マイクおよびスピーカとして機能する、いわゆるスマートスピーカ等の会話型音声装置を採用してもよい。また、音声装置２０は、ネットワークＮＷに直接接続されてもよく、画像形成装置１０と直接接続されてもよい。

【0043】

（音声認識サーバの構成）
次に、第１実施形態に係る画像形成システム１を構成する音声認識サーバ３０の構成について説明する。

【0044】

音声認識サーバ３０は、図５に示すように、主に、制御部３００と、記憶部３６０と、通信部３７０と、音声認識部３８０とを備えることを特徴とする。

【0045】

制御部３００は、音声認識サーバ３０の全体を制御するための機能部である。
そして、制御部３００は、各種プログラムを読み出して実行することにより各種機能を実現しており、例えば１又は複数の演算装置（例えば、ＣＰＵ（Central Processing Unit））等により構成されている。

【0046】

記憶部３６０は、音声認識サーバ３０の動作に必要な制御プログラム３６０１を含む各種プログラムや、各種データやユーザ情報が記憶されている機能部である。記憶部３６０は、例えば、半導体メモリであるＳＳＤ（Solid State Drive）や、ＨＤＤ（Hard Disk Drive）等により構成されている。

【0047】

通信部３７０は、ネットワークＮＷを介して画像形成装置１０と対話サーバ４０と通信接続を行う。

【0048】

音声認識部３８０は、ユーザが発話した音声を入力して音声を認識し、テキストデータに変換する。制御部３００は、音声認識部３８０においてユーザが発話した音声に基づき変換されたテキストデータを対話サーバ４０に送信する。音声認識の方法としては、従前の音声認識方法のうち、何れの方法を利用してもよいが、例えば特開２０１８－４９２３０号公報（発明の名称：辞書作成装置、辞書作成プログラム、音声認識装置、音声認識プログラムおよび記録媒体）や、特開２００４－２１９６９３号公報（発明の名称：音声認識装置、音声認識方法、音声認識プログラム、および、プログラム記録媒体）に開示された方法を利用してもよい。

【0049】

（対話サーバの構成）
次に、第１実施形態に係る画像形成システム１を構成する対話サーバ４０の構成について説明する。

【0050】

対話サーバ４０は、図６に示すように、主に、制御部４００と、記憶部４６０と、通信部４７０とを備えることを特徴とする。

【0051】

制御部４００は、対話サーバ４０の全体を制御するための機能部である。
そして、制御部４００は、各種プログラムを読み出して実行することにより各種機能を実現しており、例えば１又は複数の演算装置（例えば、ＣＰＵ（Central Processing Unit））等により構成されている。

【0052】

第１実施形態では、制御部４００は、音声認識サーバ３０から送信されたテキストデータに基づき、画像形成装置１０に対して特定の指示を行う。

【0053】

記憶部４６０は、対話サーバ４０の動作に必要な制御プログラム４６０１を含む各種プログラムや、各種データやユーザ情報が記憶されている機能部である。記憶部４６０は、例えば、半導体メモリであるＳＳＤ（Solid State Drive）や、ＨＤＤ（Hard Disk Drive）等により構成されている。

【0054】

第１実施形態では、記憶部４６０は、さらに、音声操作用拡張アプリケーション（以下、「音声操作用拡張アプリ」と称する。）４６１０を記憶する。

【0055】

記憶部４６０は、音声操作用拡張アプリ４６１０に用いる表示画面の情報として、第１音声操作用画面情報４６１１、第２音声操作用画面情報４６１２、ジョブ実行画面情報４６１３を記憶している。さらに、記憶部４６０は、ＭＦＰ能力・ステータス管理テーブル４６１４を記憶している。表示画面の情報（画面情報）は、画像形成装置１０において画面を生成するための情報であり、例えばＨＴＭＬ５、ＸＭＬ等で示されてもよい。

【0056】

ＭＦＰ能力・ステータス管理テーブル４６１４は、図７に示すように、３台のＭＦＰについて、ＭＦＰのＩＤ、名称、ＩＰアドレス、能力情報、及びステータスをＭＦＰの情報として管理している。

【0057】

具体的には、ＭＦＰの能力情報として、ＭＦＰのＩＤで管理される３台の事務用１～３号機について、それぞれの対応可能な、印刷用紙サイズ、印刷種類（カラー印刷、白黒印刷）、印刷面（両面、片面）、後処理（ステープル有／無）の情報を管理している。

【0058】

通信部４７０は、ネットワークＮＷを介して音声認識サーバ３０と画像形成装置１０と通信接続を行う。

【0059】

第１実施形態では、対話サーバ４０は、音声認識サーバ３０から送信されたテキストデータに基づき、画像形成装置１０に対して音声操作用の表示画面を送信して、タッチ操作を受付ける待機画面から音声操作用の画面に表示画面を切り替えるように指示することを特徴としている。

【0060】

音声操作用の表示画面の切り替えは、音声操作用の指示に応じて、その度に対話サーバ４０から画像形成装置１０に音声操作用の表示画面を送信するようにしてもよい。また、最初に対話サーバ４０より送信された音声操作用の表示画面の情報を画像形成装置１０に記憶しておき、その後は、音声操作用の指示に応じて、画像形成装置１０において、表示画面を切り替えるようにしてもよい。

【0061】

なお、音声操作用の表示画面は、予め画像形成装置１０に記憶されており、対話サーバ４０からの操作画面の切り替えの指示に応じて、画像形成装置１０において、タッチ操作を受付ける待機画面から音声操作用の画面に表示画面を切り替えるようにしたものであってもよい。

【0062】

また、第１実施形態では、対話サーバ４０は、制御部４００により、音声認識サーバ３０から送信されたテキストデータ（例えば、コマンドに対応するテキストデータ）に基づき、画像形成装置１０に対して前記テキストデータに対応した音声操作用の表示画面を送信して、前記テキストデータに対応した音声操作用の表示画面（例えば、コマンドに係る設定を指示する表示画面）に切り替えて表示するように指示することを特徴としている。

【0063】

（画像形成装置の音声操作における操作画面の遷移）
次に、第１実施形態に係る画像形成装置１０において、音声操作によりコマンドを指示する際の表示部１５０に表示される表示画面について、図面を参照して説明する。

【0064】

図８は第１実施形態に係る画像形成装置の表示部に表示される待機画面の一例を示す説明図、図９は前記画像形成装置において音声操作が開始されたときに表示部に表示される第１音声操作用画面の一例を示す説明図、図１０は前記画像形成装置における音声操作においてコマンドが指示されたときに表示部に表示される第２音声操作用画面の一例を示す説明図、図１１は前記画像形成装置における音声操作においてジョブが実行されるときのジョブ実行画面の一例を示す説明図である。

【0065】

（待機画面（タッチ操作用基本メニュー画面））
まず、画像形成装置１０の表示部１５０には、図８に示すように、タッチ操作モードの待機画面としてタッチ操作用基本メニュー画面１５１が表示されている。

【0066】

タッチ操作用基本メニュー画面１５１は、画像形成装置１０のタッチ操作モードにおける初期設定画面であって、画像形成装置１０の記憶部１６０に記憶されている待機画面情報１６１１に基づき形成されている。

【0067】

タッチ操作用基本メニュー画面１５１には、実行する処理を設定する処理機能設定領域１５１１と、装置状態の案内や詳細設定を行う情報・設定領域１５１２とが表示されている。

【0068】

処理機能設定領域１５１１には、処理機能として備わるシンプルコピー機能、シンプルファックス機能、シンプルスキャン機能、デスクトップ表示機能、にそれぞれ対応する操作キー１５１１ａ，１５１１ｂ，１５１１ｃ，１５１１ｄが表示されている。

【0069】

情報・設定領域１５１２には、トナー残量表示部１５１２ａ、操作ガイドキー１５１２ｂ、文字モード設定キー１５１２ｃ、設定キー１５１２ｄ、総使用枚数表示部１５１２ｅ、明度調整キー１５１２ｆ、お知らせキー１５１２ｇが表示されている。

【0070】

トナー残量表示部１５１２ａには、色毎のトナー残量が表示される。
操作ガイドキー１５１２ｂは、タッチ操作により各操作に関するガイドを表示する。
文字モード設定キー１５１２ｃは、文字の大きさを設定する。
設定キー１５１２ｄは、各種の詳細設定を行う。
明度調整キー１５１２ｆは、明度の調整を行う。
お知らせキー１５１２ｇは、装置の状態、管理状態等を知らせる。

【0071】

（音声操作を開始するときの第１音声操作用画面）
画像形成装置１０において、ユーザの音声による指示により音声操作が開始されると、図９に示すように、表示部１５０では、タッチ操作モードの待機画面から音声操作モードの第１音声操作用画面１５２に切り替わって表示される。

【0072】

具体的には、ユーザが音声操作を開始したい内容の音声（例えば、キーワードを含む会話や音声コマンド等）を発することにより、音声装置２０、音声認識サーバ３０を介して対話サーバ４０にテキストデータが送信される。対話サーバ４０が、テキストデータを認識・解析し、第１音声操作用画面切替指示を画像形成装置１０に送信する。画像形成装置１０は、第１音声操作用画面切替指示に基づいて、第１音声操作用画面をタッチ操作モードの待機画面から切り替えて表示する。

【0073】

第１音声操作用画面１５２は、画像形成装置１０の音声操作モードにおける音声操作時に表示される音声操作用画面であって、対話サーバ４０の記憶部４６０に記憶されている第１音声操作用画面情報４６１１に基づき形成されている。

【0074】

第１音声操作用画面１５２には、画像形成装置１０において音声操作により指示可能な処理機能が表示される。具体的には、第１音声操作用画面１５２には、何を実行したいのかという旨のメッセージ１５２１と、実行可能な処理機能であるコピー処理を示すアイコンおよびテキストの表示であるコピー表示１５２２と、実行可能なスキャン処理機能を示すアイコンおよびテキストの表示であるスキャン表示１５２３とが表示される。なお、音声操作モード（第１音声操作用画面１５２が表示されているモード）において、アイコンとともにテキストが表示されることで、ユーザが視認しやすく、発話しやすくなるため、操作性が向上するといった効果が期待できる。

【0075】

なお、ここでいうアイコンとは、ユーザが操作や状態を識別する絵文字、記号等の画像をいうが、テキスト１文字や、数文字をまとめたものをアイコンとしてもよい。すなわち、操作が識別できる情報であるアイコンと、操作内容を説明するためのテキストとを表示すればよい。

【0076】

メッセージ１５２１は、音声操作における発話に使用するテキスト情報として機能している。すなわち、メッセージ内に表示されるテキストの一部が、発話したときに音声操作において有効な音声データとなる。

【0077】

スキャン機能が無い画像形成装置の場合は、図９に示すように、第１音声操作用画面１５２において、破線部領域のスキャン表示１５２３がグレーアウトした状態で表示される。

【0078】

また、第１音声操作用画面１５２には、画像形成装置１０において入力操作が音声操作により実行されていることが目視できるように音声入力表示１５２４が表示されている。言い換えれば、ユーザに対して、現在の入力操作モードが音声操作モードであることを視認させるアイコンが表示されている。なお、第１音声操作用画面１５２は、タッチ操作で操作できるように構成されていない。

【0079】

このようにして、第１音声操作用画面１５２には、音声操作に対応して応答されたコメントがテキストのメッセージ１５２１として表示され、実行可能な処理機能を示すコピー表示１５２２とスキャン表示１５２３が表示され、音声入力表示１５２４が表示されているので、ユーザが、次に、何を、音声操作により指示したらよいか、を容易に確認することができる。

【0080】

（音声操作によりジョブ設定を指示する時の第２音声操作用画面）
画像形成装置１０において、第１音声操作用画面１５２が表示されているときに、ユーザの発話により実行するジョブを設定したときには、図１０に示すように、第２音声操作用画面１５３に表示が切り替わる。

【0081】

第２音声操作用画面１５３は、画像形成装置１０における音声操作時に表示される音声操作用画面であって、対話サーバ４０の記憶部４６０に記憶されている第２音声操作用画面情報４６１２に基づき形成されている。

【0082】

第２音声操作用画面１５３には、画像形成装置１０において音声操作により設定を受付けるジョブ内容が表示される。具体的には、第２音声操作用画面１５３には、どのような設定にするかという旨のメッセージ１５３１と、装置に指示するコマンドを示すコマンド表示としてのコピー部数表示１５３２、印刷カラーモード表示（カラーかモノクロか）１５３３、両面印刷表示（片面：１サイド、両面：２サイド）１５３４、が表示される。

【0083】

また、第２音声操作用画面１５３には、画像形成装置１０において入力操作が音声操作により実行されていることが目視できるように、音声入力表示１５３５が表示されている。

【0084】

ステープル機能が無い画像形成装置の場合は、図１０に示すように、第２音声操作用画面１５３において、破線部領域のステープル表示１５３６がグレーアウトした状態で表示される。なお、第２音声操作用画面１５３は、タッチ操作で操作できるように構成されていない。

【0085】

また、第１音声操作用画面と、第２音声操作用画面とで表示されるメッセージ表示領域は、同じ位置に表示されてもよい。

【0086】

（音声操作時のジョブ実行画面）
画像形成装置１０において、第２音声操作用画面１５３が表示されているときに音声操作によりジョブを実行したときには、図１１に示すように、ジョブ実行画面１５４に表示が切り替わる。

【0087】

ジョブ実行画面１５４は、画像形成装置１０における音声操作時に表示される音声操作用画面であって、対話サーバ４０の記憶部４６０に記憶されているジョブ実行画面情報４６１３に基づき形成されている。

【0088】

ジョブ実行画面１５４には、実行されているジョブを示す表示画像１５４１が表示される。具体的には、ジョブ実行画面１５４において、コピーが実行されているときには、図１１に示すように、「コピー処理」が分るような表示画像１５４１が表示される。

【0089】

（画像形成システムにおける音声操作による動作処理）
次に、第１実施形態に係る画像形成システム１において、画像形成装置１０に対してユーザが音声指示により操作を行うときの動作処理について、図面を参照して説明する。
図１２は第１実施形態に係る画像形成システムにおいて音声指示を行う場合の動作処理を示すシーケンス図、図１３は前記画像形成システムにおける画像形成装置の表示部の音声操作用画面に表示されるテキストメッセージの一例を示す説明図、図１４は前記テキストメッセージのその他の例を示す説明図である。

【0090】

画像形成システム１において、ユーザ（利用者）が音声指示により画像形成装置１０の操作を行う場合は、図１２に示すように、まず、ユーザが音声装置２０に対して操作開始することを音声で指示する（Ｓ１）。例えば、「Computer, open Copier」とユーザは音声を発することにより指示を行う。音声装置２０より入力された音声は、第１音声コマンドとして音声認識サーバ３０に送信される（Ｓ２０１）。

【0091】

音声認識サーバ３０では、音声認識部３８０において第１音声コマンドの音声データをテキストデータに変換する。そして、音声認識サーバ３０は、音声操作を開始する「Ｗａｋｅワード」を認識して、対話サーバ４０に「Ｗａｋｅワード」を送信する（Ｓ３０１）。「Ｗａｋｅワード」とは音声操作モードに切り替えるための言葉を含むものであり、コマンドや、会話である。本実施形態では、「Computer」が相当する。

【0092】

対話サーバ４０では、画像形成装置１０とＭＦＰ（Multi function Printer）能力情報の同期を開始する（Ｓ４０１）。この同期は、定期的（例えば、５分毎、１時間毎、起動時毎等）に行われてもよいし、音声認識サーバ３０からコマンドやワードを受信したタイミングで同期してもよい。

【0093】

音声認識サーバ３０から送信された「Ｗａｋｅワード」を受信すると（Ｓ４０３）、画像形成装置１０に対して待機画面から音声操作を行うための第１音声操作用画面１５２に切り替える指示を行う（Ｓ４０５）。このとき、対話サーバ４０から画像形成装置１０に対して第１音声操作用画面に関する情報（第１音声操作用画面情報４６１１）が送信される。

【0094】

画像形成装置１０では、待機画面としてタッチ操作によるタッチ操作用基本メニュー画面１５１が表示されている（Ｓ１０１）。また、対話サーバ４０とＭＦＰ能力情報の同期を開始する（Ｓ１０３）。

【0095】

画像形成装置１０は、対話サーバ４０から第１音声操作用画面１５２に切り替える指示を受信すると、タッチ操作モードの待機画面（タッチ操作用基本メニュー画面１５１）を音声操作モードの第１音声操作用画面１５２に切り替えて表示部１５０に表示する（Ｓ１０５）。

【0096】

なお、画像形成装置１０の起動直後、または、第１音声操作用画面１５２の表示中に所定の時間内に次の音声コマンドを受信しなかった場合は、タッチ操作を受け付けるためのタッチ操作用基本メニュー画面１５１を表示するようにしてもよい。

【0097】

対話サーバ４０と画像形成装置１０とは、ＭＦＰ状態情報/能力情報を同期させる（Ｓ４０７，Ｓ１０７）。そして、対話サーバ４０から音声認識サーバ３０に対してテキストによる第１応答が送信される（Ｓ４０８）。

【0098】

音声認識サーバ３０では、対話サーバ４０から送信されたテキストを音声データに変換して（Ｓ３０３）、音声装置２０を介してユーザに「Hi, How can I help？」「何をしますか？」という旨の音声による第１応答を行う。

【0099】

ユーザは、第１応答を聞いて（確認して）、音声装置２０に対して「Copy with staple.」「コピーしてステープル処理を行う」という旨を音声で指示する（Ｓ２）。音声装置２０より入力された音声は、第２音声コマンドとして音声認識サーバ３０に送信される（Ｓ２０３）。

【0100】

音声認識サーバ３０では、音声認識部３８０において第２音声コマンドの音声データからコピーを行うという主旨のテキストデータに変換して、対話サーバ４０にコピーを行う主旨のテキストデータを送信する（Ｓ３０５）。

【0101】

対話サーバ４０では、音声認識サーバ３０から送信されたコピーを行う主旨のテキストデータを受信すると（Ｓ４０９）、画像形成装置１０に対して第１音声操作用画面１５２から音声操作によりジョブ設定を指示するための第２音声操作用画面１５３に切り替える指示を行う（Ｓ４１１）。このとき、対話サーバ４０から画像形成装置１０に対して第２音声操作用画面情報４６１２が送信される。

【0102】

このとき、第２音声操作用画面情報４６１２は、画像形成装置１０の状態情報や能力情報が同期されており、同期された結果に応じて生成されてもよい。例えば、対話サーバ３０は、ステープル機能を有していない画像形成装置１０に対しては、ステープル機能がグレイアウトされた状態の第２音声操作用画面を生成して送信する。これにより、画像形成装置１０には、ステープル機能がグレイアウトした状態の第２音声操作用画面が表示されることとなる。

【0103】

画像形成装置１０では、対話サーバ４０から第２音声操作用画面１５３に切り替える指示を受信すると、第１音声操作用画面１５２を第２音声操作用画面１５３に切り替えて表示部１５０に表示する（Ｓ１０９）。

【0104】

なお、第２音声操作用画面１５３は、必要に応じて適宜更新される。後述するが、例えばＳ４１３において、ユーザに指定のパラメータの実行可否の判断を確認する場合に、必要なメッセージを表示した第２音声操作用画面に更新してもよい。

【0105】

対話サーバ４０では、ＭＦＰ状態情報/能力情報に基づいて、指定されたパラメータの実行が可能か否かが判断される（Ｓ４１３）。そして、パラメータの実行が不可と判断された場合、対話サーバ４０から音声認識サーバ３０を介して音声装置２０に「The MFP does not have “Finisher”. Is it OK to copy without staple？」「画像形成装置はフィニッシャを装備していないが、ステープル無しでコピーしますか？」という旨の第２応答テキストデータを音声データに変換し、音声装置２０で発話を行う（Ｓ３０７）。また、併せて対話サーバ４０は、画像形成装置１０に対して第２音声操作用画面１５３の更新情報を送信してもよい。

【0106】

対話サーバ４０から画像形成装置１０に更新する情報を送信すると、第２音声操作用画面１５３が更新される。第２音声操作用画面１５３には、例えば、図１３に示すように、「The MFP does not have “Finisher”. Is it OK to copy without staple？」／「画像形成装置はフィニッシャを装備していないが、ステープル無しでコピーしますか？」という旨のメッセージ１５３７が表示される。さらに、指定されたジョブが実行できない主旨のメッセージを表示してもよい。

【0107】

また、Ｓ４１３において、パラメータの実行が可能と判断された場合には、「Is it OK to copy with staple？」「ステープル有りでコピーしますか？」という旨の第２応答テキストデータを音声データに変換し、音声装置２０で発話を行う（Ｓ３０７）。

【0108】

画像形成装置１０の第２音声操作用画面１５３には、例えば、図１４に示すように、「Is it OK to copy with staple？」「ステープル有りでコピーしますか？」という旨のメッセージ１５３８が表示される。

【0109】

ユーザは、第２応答を聞いて（確認して）、音声装置２０に対して「はい」と音声で指示する（Ｓ３）。音声装置２０より入力された音声は、第３音声コマンドとして音声認識サーバ３０に送信される。

【0110】

音声認識サーバ３０では、音声認識部３８０において第３音声コマンドの音声データからジョブの実行に同意する主旨のテキストデータに変換して（Ｓ３０９）、対話サーバ４０にジョブの実行に同意する主旨のテキストデータを送信する（Ｓ３１１）。

【0111】

対話サーバ４０では、音声認識サーバ３０から送信されたジョブの実行に同意する主旨のテキストデータを受信すると（Ｓ４１７）、画像形成装置１０に対してジョブを実行する指示を行う（Ｓ４１９）。このとき、対話サーバ４０から画像形成装置１０に対してジョブ実行画面１５４が送信される。

【0112】

画像形成装置１０では、ジョブを実行する指示を受けて、表示部１５０にジョブ実行画面１５４を表示して、ジョブを実行する（Ｓ１１１）。

【0113】

このようにして、画像形成システム１において、画像形成装置１０に対して音声操作を行う際に、画像形成装置１０に表示されたタッチ操作用基本メニュー画面１５１を音声操作用に特化した表示画面に切り替えて表示することで、ユーザは音声操作用の表示画面を見ながら明確にコマンドを指示することができるので、簡単にジョブを実行することができる。

【0114】

これにより、従来の画像形成装置における音声操作では、音声による指示が１次元的な操作インタフェースのため、音声で画像形成装置を操作する際に内容確認を一度で行うことが難しい、という問題を解消できる。また、従来の音声操作では、指示の確認を音声によるメッセージで行おうとすると時間が掛かかり過ぎる、という問題を解消できる。

【0115】

また、従来の画像形成装置における音声操作では、様々な操作を音声による指示で行う場合に、発話方法、指示内容等を覚えたり、ユーザが操作を学習したりする必要があったが、表示部１５０に音声操作用の表示画面を表示することで、簡単に音声操作を行うことができる。

【0116】

さらに、従来の画像形成装置においては、音声操作による入力や変更が可能な設定や機能は、通常、画面操作により操作可能な機能よりも少ないことが多いため、音声操作を加味しないＵＩ画面では、音声操作により操作可能な機能についてユーザに誤解を与えることがあった。このような問題についても、表示部１５０に音声操作用の表示画面を表示することで、音声操作により操作可能な機能が明確になるため、ユーザにとって操作し易いＵＩ画面を提供できる。

【0117】

また、第１実施形態では、図９，図１０に示すように、第１音声操作用画面１５２と第２音声操作用画面１５３とでメッセージ１５２１，１５３１が表示されるメッセージ表示領域が共通の位置としているので、ユーザがメッセージを認識しやすい。

【0118】

以上のように構成したので、第１実施形態によれば、画像形成システム１において、画像形成装置１０の構成として、表示部１５０にコマンドを含む第１音声操作用画面１５２と第２音声操作用画面１５３とを音声操作に応じて切り替えて表示し、ユーザによる音声操作により音声装置２０からコマンドが音声入力されたことに基づいて、画像形成装置１０においてジョブを実行するようにしたので、第１音声操作用画面１５２や第２音声操作用画面１５３に表示されたコマンドの表示画像やテキスト表示を確認して、ユーザが明確に音声入力を行うことができるので、ユーザが所望するジョブの設定や処理を指示する音声操作を容易に且つ明確に行うことができる。

【0119】

また、第１実施形態では、ユーザの音声操作に応じて、対話サーバ４０により画像形成装置１０に対して第１音声操作用画面１５２、第２音声操作用画面１５３、ジョブ実行画面１５４と、表示画面を切り替えて表示するようにしたので、ユーザは次に音声操作を行う際に、コマンドや設定に対応する表示画像やテキスト表示を確認しながら明確に音声操作を行うことができる。

【0120】

なお、第１実施形態では、音声装置２０は、ネットワークＮＷを介して画像形成装置１０と通信接続されているが、例えば、音声装置２０に相当する音声入力部と音声出力部とを画像形成装置１０に備えて、画像形成装置１０から音声認識サーバ３０に対して音声を入力するようにしてもよい。

【0121】

（第２実施形態）
次に、第２実施形態について説明する。
第２実施形態は、音声操作によりジョブを実行可能な画像形成システムを構成する画像形成装置において、ユーザの音声操作に基づいて、音声操作用の表示画面が随時遷移するようにしたことを特徴とするものである。

【0122】

図１５は第２実施形態に係る画像形成装置において音声操作によりコピー部数の設定を行う音声操作用画面の一例を示す説明図、図１６は前記画像形成装置において音声操作によりカラーモードの設定を行う音声操作用画面の一例を示す説明図、図１７は前記画像形成装置において音声操作により両面印刷の設定を行う音声操作用画面の一例を示す説明図である。

【0123】

なお、第２実施形態に係る画像形成装置は、第１実施形態に係る画像形成装置１０と装置構成を概ね一致するものであり、説明の便宜上、第１実施形態に係る画像形成装置１０と同一の構成には、同一の番号を付して説明を省略するとともに、異なる構成について符号を付して説明する。

【0124】

第２実施形態に係る画像形成装置は、音声操作を行う場合、印刷の設定を行う際に、一つの設定を行う毎に表示画面を切り替えて、次の設定を行う表示画面を表示するようにすることを特徴としている。

【0125】

例えば、画像形成装置において、音声操作によりコピー部数の設定を行う場合は、図１５に示すように、表示部１５０にはコピー部数設定画面２１５２が表示される。
コピー部数設定画面２１５２には、どのような設定にするかという旨のメッセージ２１５２ａと、コピー部数表示２１５２ｂとが表示される。

【0126】

音声操作によるコピー部数の設定が終了すると、次の設定画面として、図１６に示すように、音声操作により印刷するカラーモードを設定するカラーモード設定画面２１５３が表示される。

【0127】

カラーモード設定画面２１５３には、どのような設定にするかという旨のメッセージ２１５３ａと、フルカラー／モノクロを設定するカラーモード表示２１５３ｂとが表示される。

【0128】

音声操作によるカラーモードの設定が終了すると、次の設定画面として、図１７に示すように、音声操作により両面印刷（片面か両面か）の設定を行う両面印刷設定画面２１５４が表示される。

【0129】

両面印刷設定画面２１５４には、どのような設定にするかという旨のメッセージ２１５４ａと、印刷面を片面（１－Sided）／両面（２－Sided）の何れかに設定する印刷面表示２１５４ｂとが表示される。

【0130】

以上のように構成したので、第２実施形態によれば、画像形成装置において、音声操作を行う場合、印刷の設定を行う際に、一つの設定を行う毎に表示画面を切り替えて、次の設定を行う表示画面を表示するようにすることで、音声操作による詳細設定を各設定に応じた音声操作用の設定画面毎に明確に行うことができる。これにより、音声操作による誤操作を削減できる。

【0131】

（第３実施形態）
次に、第３実施形態について説明する。
第３実施形態は、音声操作によりジョブを実行可能な画像形成システムを構成する画像形成装置おいて、ユーザの音声指示に基づいて、音声操作用の表示画面が表示され、前記表示画面は、タッチ操作による入力処理が可能であることを特徴とするものである。

【0132】

第３実施形態では、例えば、図９に示すように、第１実施形態において画像形成装置１０の表示部１５０に表示される第１音声操作用画面１５２において、コピー表示１５２２やスキャン表示１５２３にタッチ操作機能を持たせて、コピー表示１５２２をコピー選択キーとして機能させるとともに、スキャン表示１５２３をスキャン選択キーとして機能させるようにしてもよい。

【0133】

以上のように構成することで、第３実施形態によれば、例えば、画像形成装置１０において、音声操作を行う際に表示部１５０に表示される音声操作用の表示画面に、タッチ操作機能を備えることで、音声操作がうまくできない場合でも、タッチ操作により確実に入力処理を行うことができる。

【0134】

（第４実施形態）
次に、第４実施形態について説明する。
第４実施形態は、音声操作によりジョブを実行可能な画像形成システムを構成する画像形成装置において、画像形成装置を操作する際に、ユーザ登録を行って、画像形成装置を音声操作する際に、ユーザを判別して、操作するユーザに応じて、例えば、「お気に入りの設定画面」を表示するようにしてもよい。なおユーザの判別は音声を用いてもよいし、ユーザがログインＩＤやパスワードを入力するか、或いはユーザが所持するＩＤカードを用いてもよい。

【0135】

「お気に入りの設定画面」は、画像形成装置１０の記憶部１６０に記憶してもよく、対話サーバ４０の記憶部４６０に記憶してもよく、その他の通信接続可能な記憶装置に記憶してもよい。

【0136】

以上のように構成したので、第４実施形態によれば、音声操作によりジョブを実行可能な画像形成システムを構成する画像形成装置において、画像形成装置を操作する際に、ユーザの音声に基づき、前記画像形成装置を操作するユーザに対応して「お気に入りの設定画面」を表示することで、ユーザにとって操作に慣れた音声操作用の表示画面で操作することができるので、操作性に優れたユーザインターフェースを提供することができる。

【0137】

（第５実施形態）
次に、第５実施形態について説明する。
第５実施形態は、音声操作によりジョブを実行可能な画像形成システムを構成する画像形成装置において、対話サーバは音声認識結果のテキストを各ＭＦＰに転送するのみの簡素な構成とし、応答に用いられるテキスト（例えば、発話に関する発話文テキストや会話等）を各ＭＦＰから対話サーバを介して発話させることを特徴とするものである。

【0138】

図１８は第５実施形態に係る画像形成システムを構成する画像形成装置の電気的構成を示すブロック図、図１９は前記画像形成システムを構成する対話サーバの構成を示すブロック図、図２０は前記画像形成装置の記憶部に記憶される管理テーブルの一例を示す説明図である。

【0139】

なお、第５実施形態に係る画像形成装置５０と対話サーバ６０とは、第１実施形態に係る画像形成装置１０と対話サーバ４０との装置構成と概ね一致するものであり、説明の便宜上、第１実施形態に係る装置と同一の構成には、同一の番号を付して説明を省略するとともに、異なる構成について符号を付して説明する。

【0140】

（画像形成装置の構成）
第５実施形態に係る画像形成装置５０は、図１８に示すように、主に、制御部５００と、画像入力部１１０と、原稿読取部１１２と、画像処理部１２０と、画像形成部１３０と、操作部１４０と、表示部１５０と、記憶部５６０と、通信部１７０とを備えて構成されることを特徴としている。

【0141】

制御部５００は、画像形成装置５０の全体を制御するための機能部である。

【0142】

記憶部５６０は、画像形成装置５０の動作に必要な制御プログラム１６０１を含む各種プログラムや、読み取りデータ１６０２を含む各種データやユーザ情報１６０３、待機画面を表示するための待機画面情報１６１１が記憶されている機能部である。第５実施形態では、さらに、表示画面の情報として、第１音声操作用画面情報５６１１、第２音声操作用画面情報５６１２、ジョブ実行画面情報５６１３を備え、さらに、ＭＦＰ能力・ステータス管理テーブル５６１４を備えている。

【0143】

ＭＦＰ能力・ステータス管理テーブル５６１４は、図２０に示すように、ＭＦＰについて、ＭＦＰのＩＤ、名称、ＩＰアドレス、能力情報、及びステータスをＭＦＰの情報として管理している。

【0144】

具体的には、ＭＦＰ能力・ステータス管理テーブル５６１４は、ＭＦＰの能力情報として、ＭＦＰのＩＤで管理される事務用１号機について、印刷用紙サイズＡ３、印刷種類（カラー印刷、白黒印刷）、印刷面（両面、片面）、後処理（ステープル有）の情報を管理している。

【0145】

（対話サーバの構成）
対話サーバ６０は、図１９に示すように、主に、制御部６００と、記憶部６６０と、通信部４７０とを備えることを特徴とする。

【0146】

制御部６００は、対話サーバ６０の全体を制御するための機能部である。

【0147】

第５実施形態では、制御部６００は、音声認識サーバ３０から送信されたテキストデータに基づき、画像形成装置５０に対して特定の指示を行う。

【0148】

記憶部６６０は、対話サーバ６０の動作に必要な制御プログラム４６０１を含む各種プログラムが記憶されている機能部である。第５実施形態では、さらに、音声操作用拡張アプリケーション（以下、「音声操作用拡張アプリ」と称する。）４６１０を備える。

【0149】

第５実施形態では、対話サーバ６０は、音声認識サーバ３０から送信されたテキストデータに基づき、画像形成装置５０に対してタッチ操作を受付ける待機画面から音声操作用の画面に表示画面を切り替えるように指示することを特徴としている。

【0150】

音声操作用の表示画面の切り替えは、対話サーバ６０からの操作画面の切り替えの指示に応じて、画像形成装置５０に記憶されている画面情報に基づいて、待機画面から音声操作用の画面に表示画面を切り替える。

【0151】

（画像形成システムにおける音声操作による動作処理）
次に、第５実施形態に係る画像形成システム５において、画像形成装置５０に対してユーザが音声指示により操作を行うときの動作処理について、図面を参照して説明する。
図２１は第５実施形態に係る画像形成システムにおいて音声指示を行う場合の動作処理を示すシーケンス図である。

【0152】

なお、第５実施形態に係る画像形成システム５における動作処理は、第１実施形態に係る画像形成システム１における動作処理と概ね一致するものであり、説明の便宜上、第１実施形態に係る画像形成システム１と異なる動作処理について説明する。

【0153】

画像形成システム５において、ユーザ（利用者）が音声指示により画像形成装置５０の操作を行う場合は、図２１に示すように、まず、ユーザが音声装置２０に対して操作開始することを音声で指示する（Ｓ１）。音声装置２０より入力された音声は、第１音声コマンドとして音声認識サーバ３０に送信される（Ｓ２０１）。

【0154】

音声認識サーバ３０では、音声認識部３８０において第１音声コマンドの音声データをテキストデータに変換し、音声操作を開始する「Ｗａｋｅワード」を認識して、対話サーバ４０に「Ｗａｋｅワード」を送信する（Ｓ３０１）。

【0155】

対話サーバ６０では、音声認識サーバ３０から送信された「Ｗａｋｅワード」を受信すると（Ｓ４０３）、画像形成装置５０に対して待機画面から音声操作を行うための第１音声操作用画面１５２に切り替える指示を行う（Ｓ４０５ｂ）。画像形成装置１０は、対話サーバ４０から切り替える指示を受信すると、第１音声操作用画面情報５６１１に基づいて第１音声操作用画面を生成し、表示する（Ｓ１０５ｂ）。

【0156】

このように、第５実施形態では、画像形成装置５０に第１音声操作用画面情報５６１１が記憶されているので、各ＭＦＰの能力に応じた音声操作用画面を、自己判断して表示することができる。したがって、対話サーバ６０と画像形成装置５０とでＭＦＰ能力情報の同期は必要がない。また、対話サーバ６０から画像形成装置５０に対して第１音声操作用画面情報を送信する必要がない。

【0157】

画像形成装置１０は、対話サーバ６０から第１音声操作用画面１５２に切り替える指示を受信すると、タッチ操作モードの待機画面（タッチ操作用基本メニュー画面１５１）から、第１音声操作用画面情報５６１１を読み出して生成される音声操作モードの第１音声操作用画面１５２に切り替えて表示部１５０に表示する（Ｓ１０５ｂ）。

【0158】

対話サーバ６０から画像形成装置５０に対して第１音声操作用画面１５２から音声操作によりジョブ設定を指示するための第２音声操作用画面１５３に切り替える指示が行われると（Ｓ４１１ｂ）、画像形成装置５０では、第１音声操作用画面１５２を第２音声操作用画面１５３に切り替えて表示部１５０に表示する（Ｓ１０９ｂ）。

【0159】

第５実施形態では、画像形成装置５０に第２音声操作用画面情報５６１２が記憶されているので、各ＭＦＰの能力に応じた音声操作用画面を、自己判断して表示することができる。したがって、対話サーバ６０と画像形成装置５０とでＭＦＰ能力情報の同期は必要がない。また、対話サーバ６０から画像形成装置５０に対して第２音声操作用画面情報を送信する必要がない。

【0160】

そして、第５実施形態では、画像形成装置５０において、ＭＦＰ状態情報/能力情報に基づいて、指定されたパラメータの実行が可能か否かが判断される（Ｓ５０１）。

【0161】

Ｓ５０１において、パラメータの実行が可能と判断された場合には、「ステープル有りでコピーしますか？」という旨の発話用テキストデータを対話サーバ６０に送信する（Ｓ５０３）。対話サーバ６０は、発話用テキストデータを受信すると、音声認識サーバ３０にテキストデータを送信する（Ｓ４１４）。

【0162】

一方、Ｓ５０１において、パラメータの実行が不可と判断された場合には、「画像形成装置はフィニッシャを装備していないが、ステープル無しでコピーしますか？」という旨の発話用テキストデータを対話サーバ６０に送信する（Ｓ５０３）。対話サーバ６０は、発話用テキストデータを受信すると、音声認識サーバ３０にテキストデータを送信する（Ｓ４１４）。

【0163】

以降、第１実施形態の画像形成システム１と同様に、音声操作による動作処理が行われる。

【0164】

以上のように構成したので、第５実施形態によれば、対話サーバ６０と画像形成装置（ＭＦＰ）５０との間で、ＭＦＰ能力情報を同期することが不要となり、また、第１音声操作用画面情報５６１１および第２音声操作用画面情報５６１２、並びにジョブ実行画面情報５６１３、を対話サーバ６０から画像形成装置５０に送信することが不要となることから、ユーザとの音声応答に関わる通信処理の速度が向上するので、ユーザに対して音声応答の際のタイムラグを短縮でき、より自然な音声対話を提供することができる。

【0165】

以上のように、本発明は、上述した実施例や実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、すなわち、本発明の要旨を逸脱しない範囲内において適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

【符号の説明】

【0166】

１ 画像形成システム
１０ 画像形成装置
２０ 音声装置
３０ 音声認識サーバ
４０ 対話サーバ
１５０ 表示部
１５１ タッチ操作用基本メニュー画面
１５２ 第１音声操作用画面
１５３ 第２音声操作用画面
１５４ ジョブ実行画面
２１０ 音声入力部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】