特許 7115259 画像形成装置及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-08-01

(45)【発行日】2022-08-09

(54)【発明の名称】画像形成装置及びプログラム

(51)【国際特許分類】

   B41J 29/42 20060101AFI20220802BHJP

   G06F 3/16 20060101ALI20220802BHJP

   B41J 29/38 20060101ALI20220802BHJP

   G03G 21/00 20060101ALI20220802BHJP

   H04N 1/00 20060101ALI20220802BHJP

   G10L 15/10 20060101ALI20220802BHJP

【ＦＩ】

B41J29/42 F

G06F3/16 650

B41J29/38 202

G03G21/00 386

G03G21/00 380

H04N1/00 350

G06F3/16 630

G06F3/16 670

G10L15/10 500Z

【請求項の数】 5

(21)【出願番号】P 2018224507

(22)【出願日】2018-11-30

(65)【公開番号】P2020082642

(43)【公開日】2020-06-04

【審査請求日】2021-09-15

(73)【特許権者】

【識別番号】000001270

【氏名又は名称】コニカミノルタ株式会社

(74)【代理人】

【識別番号】110000925

【氏名又は名称】特許業務法人信友国際特許事務所

(72)【発明者】

【氏名】鈴木 順子

【審査官】井出 元晴

(56)【参考文献】

【文献】特開２００９－１８８４６５（ＪＰ，Ａ）

【文献】特開２０１０－０４９４３２（ＪＰ，Ａ）

【文献】特開２０１１－１７０５７４（ＪＰ，Ａ）

【文献】特開２０１１－１９７９２６（ＪＰ，Ａ）

【文献】特開２００７－１０２０１２（ＪＰ，Ａ）

【文献】特開２００８－１８０８３３（ＪＰ，Ａ）

【文献】特開２００６－２０５４９７（ＪＰ，Ａ）

【文献】特開２００７－０７９８５２（ＪＰ，Ａ）

【文献】特開２０１７－１７５５４７（ＪＰ，Ａ）

【文献】特開２００９－１６３５２８（ＪＰ，Ａ）

【文献】特開２０１８－１３０８６０（ＪＰ，Ａ）

【文献】特開２０１１－１９３１３９（ＪＰ，Ａ）

【文献】特開２００５－０７３１４０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ４１Ｊ ２９／４２

Ｇ０６Ｆ ３／１６

Ｂ４１Ｊ ２９／３８

Ｇ０３Ｇ ２１／００

Ｈ０４Ｎ １／００

Ｇ１０Ｌ １５／１０

(57)【特許請求の範囲】

【請求項1】

音声入力部に入力された音声から認識されるテキストデータより抽出した語句に基づいて、前記音声により行われた操作指示を判定する操作指示判定部と、
前記語句と、機能種別、操作画面及び設定項目とが関連付けられた辞書データベースと、
前記語句、前記設定項目の順に前記操作指示が行われた機能の前記機能種別に対応する前記操作画面を表示し、前記操作画面に対する操作入力が行われる操作表示部と、
前記操作指示に含まれる前記語句に対する、前記機能種別及び前記操作画面とを前記辞書データベースから取得し、前記操作指示判定部により判定された前記操作指示が妥当である場合に、前記操作指示に基づいて選択した機能の設定を行い、設定された機能を通知する機能設定部と、
前記機能設定部により設定された前記機能を実行する制御を行う実行制御部と、を備え、
前記操作指示判定部により判定された前記操作指示が妥当でない場合に、前記操作指示に対応する前記操作画面、及び前記操作指示に関連する他の機能種別に対応する操作画面を前記操作表示部に表示させ、前記機能設定部は、選択された前記操作画面からの前記操作入力に従って、前記機能の設定を行う
画像形成装置。

【請求項2】

前記操作指示判定部は、前記操作指示に対応する前記操作画面、及び前記他の機能種別に対応する前記操作画面を、前記操作表示部の表示領域とほぼ同じ大きさ、かつ所定の順序で表示させる
請求項１に記載の画像形成装置。

【請求項3】

前記操作指示判定部は、前記操作指示に対応する前記操作画面、及び前記他の機能種別に対応する前記操作画面を、前記操作表示部の表示領域よりも縮小して並べて表示させる
請求項２に記載の画像形成装置。

【請求項4】

前記機能設定部は、前記機能の設定に不足する項目を強調した前記操作画面を前記操作表示部に表示させ、前記操作表示部を通じて選択された前記項目への前記操作入力が前記項目を満たす場合に、前記機能の設定を行う
請求項１～３のいずれか一項に記載の画像形成装置。

【請求項5】

音声入力部に入力された音声から認識されるテキストデータより抽出した語句に基づいて、前記音声により行われた操作指示を判定する手順と、
前記語句、設定項目の順に前記操作指示が行われた機能の機能種別に対応する操作画面を操作表示部に表示し、前記操作画面に対する操作入力が行われる手順と、
前記操作指示に含まれる前記語句に対する、前記機能種別及び前記操作画面とを、前記語句と、前記機能種別、前記操作画面及び前記設定項目とが関連付けられた辞書データベースから取得し、判定された前記操作指示が妥当である場合に、前記操作指示に基づいて選択した機能の設定を行い、設定された機能を通知する手順と、
設定された前記機能の実行を制御する手順と、
判定された前記操作指示が妥当でない場合に、前記操作指示に対応する前記操作画面、及び前記操作指示に関連する他の機能種別に対応する操作画面を前記操作表示部に表示させる手順と、
選択された前記操作画面からの前記操作入力に従って、前記機能の設定を行う手順と、を
コンピューターに実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像形成装置及びプログラムに関する。

【背景技術】

【0002】

近年、音声認識機能を搭載した画像形成装置（ＭＦＰ：Multifunction Peripheral）が用いられつつある。この画像形成装置では、ユーザーが画像形成装置に対して操作指示を口頭で伝えるだけで、ユーザーが意図する操作を画像形成装置に行わせることができる。画像形成装置は、ユーザーが発声した音声から操作指示を抽出し、操作指示に該当する機能（例えば、ＣＯＰＹ機能、ＳＣＡＮ機能）を検索する。画像形成装置は、抽出した操作指示が明確であれば、この操作指示に完全一致する機能を検索することが可能である。

【0003】

しかし、ユーザーの発声音量が小さかったり、周囲に雑音があったりすると、画像形成装置が正確に操作指示を抽出できない。この場合、画像形成装置は、抽出できた操作指示の一部をあいまい検索し、操作指示の一部を含む文言の機能を検索する。そして、画像形成装置は、検索した機能をユーザーに応答する。この応答は、例えば、画像形成装置が備えるスピーカーから機能種別を表すメッセージが放音されたり、液晶ディスプレイ装置に機能種別が表示されることで行われる。

【0004】

このような音声認識により画像形成装置を操作するための技術として、以下の特許文献１及び２に開示された技術が知られている。

【0005】

特許文献１には、入力された音声を認識して認識結果の候補リストを出力し、認識結果の候補間の差異を抽出して認識結果へ差異情報を付与し、認識結果へ付与した差異情報に基づき差異が明確になる応答を生成し、生成した応答を提示する技術が開示されている。

【0006】

特許文献２には、音情報から抽出されたコマンドや家電・設備機器の状態等に基づいて家電・設備機器の動作モードを決定し、家電・設備機器の動作モードや状態を表示する操作表示部の表示内容を、動作モードの変更に応じて変化させる技術が開示されている。

【先行技術文献】

【特許文献】

【0007】

【文献】特開２００６－２３５７２号公報

【文献】特開２００５－２８４４９２号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

ここで特許文献１に記載された技術で用いられる、入力された音声の認識結果の候補リストは、認識結果として妥当性があると判断された認識結果の候補が列挙されたものである。この候補リストは、特許文献１に記載された対話装置の内部で使用されるに過ぎず、ユーザーが認識できるのは応答提示によるガイダンス等である。そして、ユーザーが、不明確な操作指示を行うと、応答提示されるガイダンスが長くなるため、機能の実行開始まで時間を要していた。

【0009】

特許文献２に記載された操作表示部には、家電・設備機器の動作モードや状態が表示されるが、ユーザーが正しく機能種別を音声入力したことが前提となる。このため、ユーザーが正しい機能種別を思い出せなければ、家電・設備機器の動作モードを変更することができず、音声入力ができなくなる。

【0010】

ただし、ユーザーが明確な操作指示を行っても、操作指示の度に操作画面が起動したり、画面遷移したりすると、操作画面の変化に伴い余計な電力を消費してしまう。また、ユーザーが望む操作画面が表示されるまでの間、ユーザーに機能の実行開始を待たせてしまう。この場合、手軽に操作指示を行える音声認識機能を活かすことができず、従来用いられていた通常の操作パネルからの入力と違いがなくなってしまう。

【0011】

本発明はこのような状況に鑑みて成されたものであり、音声入力された操作指示が曖昧であっても、適切に機能を実行することを目的とする。

【課題を解決するための手段】

【0012】

上述した目的のうち少なくとも一つを実現するために、本発明の一側面を反映した画像形成装置は、音声入力部に入力された音声から認識されるテキストデータより抽出した語句に基づいて、音声により行われた操作指示を判定する操作指示判定部と、語句と、機能種別、操作画面及び設定項目とが関連付けられた辞書データベースと、語句、設定項目の順に操作指示が行われた機能の機能種別に対応する操作画面を表示し、操作画面に対する操作入力が行われる操作表示部と、操作指示に含まれる語句に対する、機能種別及び操作画面とを辞書データベースから取得し、操作指示判定部により判定された操作指示が妥当である場合に、前記操作指示に基づいて選択した機能の設定を行い、設定された機能を通知する機能設定部と、機能設定部により設定された機能を実行する制御を行う実行制御部と、を備え、操作指示判定部により判定された操作指示が妥当でない場合に、操作指示に対応する操作画面、及び操作指示に関連する他の機能種別に対応する操作画面を操作表示部に表示させ、機能設定部は、選択された操作画面からの操作入力に従って、機能の設定を行う。
なお、上記の画像形成装置は本発明の一態様であり、本発明の一側面を反映したプログラムについても、上記の画像形成装置と同様の構成を有する。

【発明の効果】

【0013】

本発明によれば、操作指示が妥当である場合に、操作指示に基づいて選択された機能の設定が行われ、この機能の実行が行われる。このため、音声入力された操作指示が曖昧であっても、適切な機能の実行を速やかに開始することができる。
上記した以外の課題、構成及び効果は、以下の実施の形態の説明により明らかにされる。

【図面の簡単な説明】

【0014】

【図1】本発明の一実施の形態に係る画像形成装置の概要構成図である。

【図2】本発明の一実施の形態に係る画像形成装置の制御系の構成例を示すブロック図である。

【図3】本発明の一実施の形態に係る辞書データベースの構成例を示す説明図である。

【図4】本発明の一実施の形態に係るユーザーが画像形成装置に対して音声でコピー処理の実行を指示する時における画像形成装置の動作例を示す説明図である。

【図5】本発明の一実施の形態に係るユーザーが画像形成装置に対して音声でネットワーク設定の要求を行う時における画像形成装置の動作例を示す説明図である。

【図6】本発明の一実施の形態に係る操作指示された機能を実行するための候補画面の表示例を示す説明図である。

【図7】本発明の一実施の形態に係る操作指示された機能を実行するために不足する項目がハイライト表示された操作画面の表示例を示す説明図である。

【図8】本発明の一実施の形態に係る画像形成装置によって行われる音声認識処理の例を示すフローチャートである。

【発明を実施するための形態】

【0015】

以下、本発明を実施するための形態について、添付図面を参照して説明する。本明細書及び図面において、実質的に同一の機能又は構成を有する構成要素については、同一の符号を付することにより重複する説明を省略する。

【0016】

［一実施の形態］
＜画像形成システムの構成＞
始めに、図１を参照して、本発明の一実施の形態に係る画像形成システムの構成例について説明する。
図１は、本発明の一実施の形態に係る画像形成装置１の概要構成図である。なお、図１には、本発明の説明に必要と考える要素又はその関連要素を記載しており、本発明の画像形成システムは図１に示す例に限定されない。

【0017】

画像形成装置１は、静電気を用いて画像の形成を行う電子写真方式によって用紙に画像を形成する画像形成装置の一例である。画像形成装置１は、例えば、イエロー（Ｙ）、マゼンタ（Ｍ）、シアン（Ｃ）及びブラック（Ｋ）の４色のトナー画像を重ね合わせるタンデム形式によって、用紙上にカラー画像を形成する。画像形成装置１には、不図示のＬＡＮ（Local Area Network）を介して、ユーザーによって操作されるＰＣ７０（後述する図２を参照）等が接続されている。そして、ＰＣ７０からＬＡＮを介して画像形成装置１に印刷ジョブ等の各種ジョブが投入される。画像形成装置１は、投入されたジョブに従って、画像形成処理等の各種の処理を行う。

【0018】

本実施の形態に係る画像形成装置１は、ユーザーが発声した音声による操作指示に従って、機能の実行を制御可能な音声制御機能を搭載する。ここで、ユーザーの音声が、明確なキーワード、又は指示の語句を含んでいれば、画像形成装置１は、内部に持つ辞書データベース５３（後述する図２参照）を参照して、操作指示の妥当性、すなわちジョブの実行に対する指示として妥当であるか判断し、妥当である場合に操作指示に従って動作することができる。また、画像形成装置１は、操作指示が不十分であれば、操作指示に関連する操作画面を表示させ、この操作画面を通じて、ユーザーが意図する機能を実行可能となるように誘導することができる。なお、判定された操作指示が複数あれば、複数の機能に対応する操作画面が表示されるため、ユーザーが意図する機能を示す操作画面を、複数の操作画面から選択することが可能となる。ここで、「誘導」とは、操作指示された機能に関係しそうな操作画面へのボタンをハイライトで表示させたり、この機能に関連しそうな操作画面を複数縮小表示させたり、もしくは操作画面を１つずつ表示させたり、ユーザーにＹｅｓ又はＮｏを判断させたりすることである。

【0019】

画像形成装置１は、自動原稿給送装置（ＡＤＦ：Auto Document Feeder）１２を有する画像入力部１１、操作表示部１３に加えて、給紙トレイ２０及び画像形成部３０を有するプリンター部１０を備える。

【0020】

画像入力部１１は、自動原稿給送装置１２の原稿台上の原稿から画像を光学的に読み取り、読み取った画像をＡ／Ｄ変換して画像データ（スキャンデータ）を生成する。なお、画像入力部１１は、プラテンガラス上で読み込むこともできる。

【0021】

操作表示部１３は、液晶パネル等からなる表示部、及び、タッチセンサ等からなる操作部で構成される。表示部及び操作部は、例えばタッチパネルとして一体に形成される。操作表示部１３は、操作部に入力されたユーザーからの操作の内容を表す操作信号を生成し、該操作信号を制御部５０（後述する図２を参照）に供給する。また、操作表示部１３は、制御部５０から供給される表示信号に基づいて、操作表示部１３に、ユーザーによる操作内容や設定情報等を含む操作画面を表示する。

【0022】

本実施の形態に係る操作表示部１３は、ユーザーからの音声入力による操作指示が行われた機能の機能種別に対応する操作画面を表示する。このため、画像形成装置１のユーザーは、操作表示部１３に表示された操作画面に基づいて、音声認識の結果を確認することができる。そして、操作表示部１３は、タッチパネルとして形成されるので、操作画面に対する操作入力が行われる。このため、ユーザーは、操作画面を通じて、機能の設定を行うことができる。

【0023】

なお、操作部をマウスやタブレットなどで構成し、操作表示部１３とは別体で構成することも可能である。この場合、ユーザーは、操作表示部１３に表示された操作画面を、別体で構成された操作部を通じて選択することが可能である。

【0024】

給紙トレイ２０は、画像形成部３０で画像形成が行われる用紙Ｓｈ（記録材の一例）を収容する容器である。画像形成装置１は、記録材の一例である樹脂製のシートにも画像を形成することが可能である。給紙トレイ２０には、それぞれ、紙種や坪量等が異なる用紙Ｓｈが収容される。なお、本実施形態では、２つの給紙トレイ２０を設けた例を挙げたが、給紙トレイ２０の個数は１つであってもよく、３個以上であってもよい。

【0025】

画像形成装置１には、給紙トレイ２０から給紙された用紙Ｓｈを排紙トレイ２５（排紙部の一例）まで搬送する搬送路２１が設けられる。搬送路２１には、用紙Ｓｈを搬送するための複数の搬送ローラが設けられる。

【0026】

画像形成部３０は、Ｙ、Ｍ、Ｃ及びＫの各色のトナー画像を形成するための、４つの画像形成ユニット３１Ｙ，３１Ｍ，３１Ｃ及び３１Ｋを備え、用紙Ｓｈに画像を形成する。画像形成ユニット３１Ｙ，３１Ｍ，３１Ｃ及び３１Ｋはそれぞれ、帯電部、露光部（いずれも不図示）、像担持体としての感光体ドラム３２Ｙ，３２Ｍ，３２Ｃ，３２Ｋ、及び、現像部３３Ｙ，３３Ｍ，３３Ｃ，３３Ｋを備える。

【0027】

現像部３３Ｙ，３３Ｍ，３３Ｃ，３３Ｋは、感光体ドラム３２Ｙ，３２Ｍ，３２Ｃ，３２Ｋの各表面（外周部）に、画像に応じた光を照射することにより、各感光ドラムの周上に静電潜像を形成する。そして、現像部３３Ｙ，３３Ｍ，３３Ｃ，３３Ｋは、該静電潜像にトナーを付着させて、感光体ドラム３２Ｙ，３２Ｍ，３２Ｃ，３２Ｋ上にトナー画像を形成する。

【0028】

また、画像形成部３０は、中間転写ベルト３４、２次転写部３５及び定着部３６を備える。中間転写ベルト３４は、感光体ドラム３２Ｙ，３２Ｍ，３２Ｃ，３２Ｋに形成された画像が１次転写されるベルトである。２次転写部３５は、中間転写ベルト３４上に１次転写された各色のトナー画像を、搬送路２１を搬送された用紙Ｓｈに２次転写するローラである。

【0029】

定着部３６は、２次転写部３５の用紙搬送方向の下流側に配置されて、画像形成部３０から供給されるカラーのトナー画像が形成された用紙Ｓｈに対して、定着処理を施す。定着部３６は、搬送された用紙Ｓｈを加熱及び加圧することにより用紙Ｓｈの表面側に、画像形成部３０により転写された画像を定着する。定着部３６の下流側では、搬送路２１が伸長して排紙トレイ２５に接続されている。また、搬送路２１には、定着部３６の下流側で分岐して、プリンター部１０の上流側の搬送路２１に合流する反転搬送路２２が接続されている。反転搬送路２２には、用紙Ｓｈを表裏反転させる反転部２３が設けられている。定着部３６により画像が定着した用紙Ｓｈは、搬送路２１によって排紙トレイ２５に排紙されるか、反転搬送路２２を通して反転部２３により表裏が反転された後、プリンター部１０の上流側で搬送路２１に返される。表裏反転された用紙Ｓｈは、プリンター部１０によって裏面への画像形成が行われる。その後、定着部３６によって定着処理が施された用紙Ｓｈは、排紙トレイ２５に排紙される。

【0030】

［画像形成装置の制御系の構成］
次に、図２を参照して、画像形成装置１の制御系の構成例について説明する。
図２は、画像形成装置１の制御系の構成例を示すブロック図である。
画像形成装置１は、通信Ｉ／Ｆ部５１、用紙搬送部２４、画像入力部１１、画像形成部３０、制御部５０、記憶部５２、定着部３６及び操作表示部１３を備える。

【0031】

通信Ｉ／Ｆ部５１は、ネットワーク又は専用線を介して、ユーザーが操作する端末であるＰＣ７０との間でデータを送受信するインターフェースである。通信Ｉ／Ｆ部５１として、例えばＮＩＣ（Network Interface Card）が用いられる。

【0032】

用紙搬送部２４は、制御部５０による制御に基づいて、図１に示した搬送路２１及び反転搬送路２２上に設けられた各搬送ローラ（図示略）、及び反転部２３を駆動する。

【0033】

制御部５０は、ＣＰＵ（Central Processing Unit）５０１、ＲＯＭ（Read Only Memory）５０２、ＲＡＭ（Random Access Memory）５０３、入力画像処理部５０４、操作指示判定部５０５、機能設定部５０６、実行制御部５０７を備える。
ＲＯＭ５０２には、制御部５０のＣＰＵ５０１が実行するプログラム又はプログラムの実行時に使用するデータ等が保存される。ＣＰＵ５０１は、ＲＯＭ５０２に保存されたプログラムを読み出すことにより、画像形成装置１を構成する各部の制御を行う。
ＲＡＭ５０３には、ＣＰＵ５０１の演算処理の途中に発生した変数やパラメータなどが一時的に書き込まれる。

【0034】

入力画像処理部５０４は、ＰＣ７０から通信Ｉ／Ｆ部５１を介して入力されたジョブに含まれる入力画像に所定の画像処理を施し、印刷用画像データを作成する。また、入力画像処理部５０４は、画像入力部１１が読み取った原稿から取得した画像データ、又は、外部から取得した画像データについても画像処理を施し、印刷用画像データを作成する。この印刷用画像データは、画像形成部３０に送られる。

【0035】

制御部５０は、用紙搬送部２４を制御して搬送ローラを駆動させ、用紙Ｓｈを搬送路２１上で搬送させる。また、制御部５０は、入力画像処理部５０４が作成した印刷用画像データを画像形成部３０に出力する。また、制御部５０は、画像形成部３０を制御して、用紙Ｓｈに画像を形成させる。また、制御部５０は、定着部３６を制御して、画像を用紙Ｓｈに定着させる。

【0036】

また、制御部５０は、操作表示部１３から操作信号を受信し、該操作信号に応じた制御を行う。さらに、制御部５０は、操作表示部１３に表示信号を出力し、操作表示部１３が、各種操作指示や設定情報を入力するための各種の設定項目や各種処理結果等を表示する操作画面を表示部に表示する。

【0037】

記憶部５２には、ＣＰＵ５０１がプログラムを実行する際に使用するパラメータや、プログラムを実行して得られたデータなどが保存される。記憶部５２には、ＣＰＵ５０１が実行するプログラムが記憶されてもよい。また、記憶部５２には、制御部５０によって参照される辞書データベース５３が構成される。辞書データベース５３には、ユーザーが発声する語句に関連する機能種別、操作画面名、設定項目等が格納される。辞書データベース５３の詳細な構成は、後述する図３にて説明する。

【0038】

制御部５０が備える操作指示判定部５０５は、音声入力部１４に入力された音声から認識されるテキストデータより抽出した語句に基づいて、音声により行われた操作指示を判定する。ここで、音声から認識したテキストデータを生成する処理は、音声入力部１４が行ってもよいし、操作指示判定部５０５が行ってもよい。

【0039】

そして、操作指示判定部５０５は、辞書データベース５３を参照して、テキストデータより抽出した語句に対応する機能種別を取得する。このため、ユーザーが発声した語句が曖昧だったり、不十分であったりしても、操作指示判定部５０５は、この語句から関連する機能種別を取得し、操作指示が妥当であるか判定することができる。ただし、この語句から関連する機能種別が複数ある場合には、操作指示が妥当でないとして、複数の操作指示が判定されることもある。

【0040】

ここで、操作指示判定部５０５は、操作指示が妥当でない場合に、操作指示に対応する操作画面、及び操作指示に関連する他の機能種別に対応する操作画面を操作表示部１３に表示させる。そして、操作指示判定部５０５は、ユーザーが選択した操作画面に基づいて操作指示が妥当であるか判定することができる。また、操作指示判定部５０５は、操作指示に対応する操作画面、及び他の機能種別に対応する操作画面を、操作表示部１３の表示領域とほぼ同じ大きさ、かつ所定の順序で表示させる。また、操作指示判定部５０５は、操作指示に対応する操作画面、及び他の機能種別に対応する操作画面を、操作表示部１３の表示領域よりも縮小して並べて表示させることもできる。

【0041】

このように操作指示が妥当でない場合、操作指示判定部５０５によって複数の操作画面が操作表示部１３に表示され、ユーザーによって一つの操作画面が選択される。そして、機能設定部５０６は、ユーザーにより選択された操作画面からの操作入力に従って、機能の設定を行うことができる。

【0042】

機能設定部５０６は、操作指示判定部５０５により判定された操作指示が妥当である場合に、操作指示に基づいて選択した機能の設定を行う。このため、機能設定部５０６は、操作指示判定部５０５により妥当と判定された操作指示に含まれる語句に対する、機能種別及び操作画面とを辞書データベース５３から取得する。ここで、機能設定部５０６は、音声入力部１４に入力された音声から認識されるテキストデータより抽出された語句が項目を満たす場合に、機能の設定を行うことができる。そして、機能設定部５０６は、操作表示部１３を通じて選択された操作画面に対応する機能の実行を実行制御部５０７に行わせる。

【0043】

また、機能設定部５０６は、機能の設定に不足する項目を強調した操作画面を操作表示部１３に表示させ、操作表示部１３を通じて選択された項目への操作入力が項目を満たす場合に、機能の設定を行うこともできる。

【0044】

実行制御部５０７は、機能設定部５０６により設定された機能を実行する制御を行う。実行制御部５０７により実行される画像形成装置１の機能は、例えば、ジョブとして扱われる。

【0045】

図３は、辞書データベース５３の構成例を示す説明図である。
辞書データベース５３は、語句、機能種別、操作画面名（操作画面）及び設定項目の各フィールドを有するテーブルで構成される。このテーブルは、ユーザーが発生した称呼から抽出される語句に対応する、機能種別、操作画面名及び設定項目とを関連付けている。

【0046】

例えば、ユーザーの称呼から抽出された「コピー」という語句は、「ＣＯＰＹ」の機能種別に対応する。また、ユーザーの称呼から抽出された「複写」という語句も、「ＣＯＰＹ」の機能種別に対応する。他にも、機能種別が「ＣＯＰＹ」を連想させるような様々な称呼から抽出される語句（例えば、「複写」）が、機能種別に対応付けて辞書データベース５３に保存される。そして、「ＣＯＰＹ」機能を実行するためには、設定項目として、印刷枚数、原稿サイズ、片面両面設定が必要とされることが示される。そして、ユーザーからの音声による操作指示が妥当でなければ、操作表示部１３には、「ＣＯＰＹ」機能を実行するためのＣＯＰＹ設定画面が表示される。

【0047】

同様に、ユーザーの称呼から抽出された「ファックス」という語句は、「ＦＡＸ」の機能種別に対応する。ユーザーからの音声による操作指示が妥当でなければ、操作表示部１３には、「ＦＡＸ」機能を実行するためのＦＡＸ設定画面が表示される。

【0048】

また、ユーザーが、「スキャン」と称呼すると、機能種別が「ＳＣＡＮ」機能に対応する。ユーザーからの音声による操作指示が妥当でなければ、操作表示部１３には、「ＳＣＡＮ」機能を実行するためのＳＣＡＮ設定画面が表示される。なお、称呼が「送付」の場合、機能種別が「ＦＡＸ」、「ＳＣＡＮ」のいずれもが対応する。

【0049】

また、ユーザーが称呼した「つなぐ」、「つなげたい」という語句は、「ネットワーク接続」機能に対応する。ユーザーからの音声による操作指示が妥当でなければ、操作表示部１３には、「ネットワーク接続」のためのネットワーク設定画面が表示される。

【0050】

次に、画像形成装置１の動作例について、図４～図７を参照して説明する。
図４は、ユーザー６０が画像形成装置１に対して音声でコピー処理の実行を指示する時における画像形成装置１の動作例を示す説明図である。

【0051】

（１）始めに、ユーザー６０が、「コピー、４枚、Ａ４サイズ、片面」と発声する。ここで、操作表示部１３には、初期画面として、「ＣＯＰＹ」、「ＦＡＸ」、「ＳＣＡＮ」の各機能の設定画面に遷移することをユーザーが指示可能なアイコンが表示されている。

【0052】

（２）操作指示判定部５０５は、音声入力部１４から入力されたテキストデータから、操作指示が「コピー、４枚、Ａ４サイズ、片面」であると判定する。そして、操作指示判定部５０５は、ユーザー６０の操作指示の妥当性を判断する。ここで、操作指示判定部５０５は、「コピー」が「ＣＯＰＹ機能」の実行を表し、「４枚」が「印刷枚数」を「４枚」とすることを表し、「Ａ４サイズ」が「原稿サイズ」を「Ａ４」とすることを表し、「片面」が「印刷設定片面」を「片面」とすることを表すと判定する。この場合、コピー時に設定が必要である、「ＣＯＰＹ機能」、「印刷枚数」、「原稿サイズ」、「印刷設定片面」の全ての設定が指示されたため、操作指示判定部５０５は、ユーザー６０の操作指示が妥当と判定する。

【0053】

（３）操作指示が妥当と判定すると、機能設定部５０６は、指示されたＣＯＰＹ機能に所定の設定を行い、実行制御部５０７は、直ちにＣＯＰＹ機能を実行する。このとき、画像形成装置１は、操作表示部１３に表示された操作画面の切替えを行わない。つまり、操作表示部１３には、初期画面が表示されたままである。なお、図４では、コピー処理の音声による操作指示について説明したが、ＦＡＸ機能、ＳＣＡＮ機能についても同様に音声による操作指示が可能である。

【0054】

ここで、ユーザー６０が、「コピー」と称呼せず、「複写」と称呼した場合であっても、操作指示判定部５０５が「ＣＯＰＹ機能」の実行が指示されたと判定できる。そして、「ＣＯＰＹ機能」の実行に必要な項目の全てが設定されれば、実行制御部５０７は、直ちにＣＯＰＹ機能を実行することが可能である。

【0055】

なお、例えば、「ＣＯＰＹ機能」の実行に必要な項目のうち、いずれかの設定が行われていなければ、操作指示判定部５０５は、ユーザー６０に対して、追加の設定を促す。例えば、ユーザー６０が「印刷枚数」の操作指示を行っていなかった場合、操作表示部１３に「印刷枚数」の設定を促す表示又は放音により、ユーザー６０に「印刷枚数」の設定が不足していることを気づかせる。このため、ユーザー６０は、「印刷枚数」の設定を行うことで、ユーザー６０が意図した機能の実行を画像形成装置１に行わせることができる。

【0056】

図５は、ユーザー６０が画像形成装置１に対して音声でネットワーク設定の要求を行う時における画像形成装置１の動作例を示す説明図である。

【0057】

（１）始めに、ユーザー６０が、「ＭＦＰとパソコンをつなげたい。」と発声する。
（２）操作指示判定部５０５は、音声入力部１４から入力されたテキストデータから、操作指示が「ＭＦＰ」、「パソコン」、「つなげたい」という語句を含むと判定する。そして、操作指示判定部５０５は、辞書データベース５３を参照し、「つなげたい」という語句に対応する機能が「ネットワーク接続」であると判断する。ここで、操作指示判定部５０５は、「ネットワーク接続」に必要なＰＣ７０等の情報が不足しているため、操作指示が妥当でないと判定する。このため、操作指示判定部５０５は、画像形成装置１と、ＰＣ７０とをネットワーク接続するために用いられるネットワーク設定の操作画面を操作表示部１３に表示させる。

【0058】

（３）ユーザー６０は、操作表示部１３に表示されたネットワーク設定の操作画面を見て「ＯＫです。」と発声する。操作指示判定部５０５は、「ＯＫ」という語句を判定すると、操作表示部１３にネットワーク設定の操作画面の表示を続けさせる。その後、ユーザー６０は、ネットワーク設定の操作画面を通じて必要な操作入力を行う。操作入力された項目は、機能設定部５０６により設定されることで、実行制御部５０７が、画像形成装置１と、ＰＣ７０とをネットワーク接続することが可能となる。

【0059】

図６は、操作指示された機能を実行するための候補画面の表示例を示す説明図である。

【0060】

（１）始めに、ユーザー６０が、「この紙を送付したい。」と発声する。
（２）操作指示判定部５０５は、音声入力部１４から入力されたテキストデータから、操作指示が、「紙」、「送付」という語句を含むと判定する。そして、操作指示判定部５０５は、辞書データベース５３を参照し、「送付」という称呼に対応する機能が「ＦＡＸ」又は「ＳＣＡＮ ｔｏ Ｅｍａｉｌ」に該当すると判断する。ここで、「ＳＣＡＮ ｔｏ Ｅｍａｉｌ」とは、画像入力部１１が読取った原稿の画像データを、予め指定された電子メールアドレスを宛先として転送する機能である。
操作指示判定部５０５は、操作表示部１３に対して、ＦＡＸ設定画面、ＳＣＡＮ ｔｏ Ｅｍａｉｌ設定画面を順に表示させる制御を行う。

【0061】

（３）操作表示部１３にＦＡＸ設定画面が表示されたとする。この時、ユーザー６０が意図した操作画面でなければ、ユーザー６０が「違う。」と発声する。「違う。」という発声は、操作指示判定部５０５により、「ＮＯ」等の否定的な回答として判定される。そして、操作指示判定部５０５は、ユーザー６０の操作指示が、操作画面の切替えを指示するものと判定する。そして、操作指示判定部５０５は、ＳＣＡＮ ｔｏ Ｅｍａｉｌ設定画面を操作表示部１３に表示させる制御を行う。

【0062】

（４）次に、ユーザー６０は、操作表示部１３に表示されたＳＣＡＮ ｔｏ Ｅｍａｉｌ設定画面を見て、「これです。」と発声する。「これです。」という発声は、操作指示判定部５０５により、「ＹＥＳ」等の肯定的な回答として判定される。その後、ユーザー６０は、ＳＣＡＮ ｔｏ Ｅｍａｉｌ設定画面を通じて、入力された電子メールアドレス等を機能設定部５０６が設定する。これにより、紙に印刷された文字や絵等を画像形成装置１がスキャンして得た画像ファイルを、登録された電子メールアドレスで指定される宛先に送信することが可能となる。

【0063】

図７は、操作指示された機能を実行するために不足する項目がハイライト表示された画面の表示例を示す説明図である。

【0064】

（１）始めに、ユーザー６０が、「ＸＸＸ（宛先）にスキャンで送って。」と発声する。
（２）操作指示判定部５０５は、音声入力部１４から入力したテキストデータから、操作指示が、宛先を示す「ＸＸＸ」、「スキャン」という語句を含むと判定する。そして、操作指示判定部５０５は、辞書データベース５３を参照し、操作表示部１３にＳＣＡＮ設定画面を表示させる。

【0065】

ＳＣＡＮ設定画面では、宛先の項目以外に、解像度、形式の項目についても設定が必要とされる。このため、機能設定部５０６は、解像度、形式の項目を、例えば他の項目とは表示色を異ならせてハイライト表示したり、点滅表示させたりして、操作表示部１３に強調表示させる。このため、ユーザー６０は、どの項目の設定が不足しているかを確認し、不足した項目について改めて発声し、又は操作入力することができる。

【0066】

図８は、画像形成装置１によって行われる音声認識処理の例を示すフローチャートである。
音声入力部１４を通じてユーザーが音声入力を行うと、操作指示判定部５０５がテキストデータから抽出した称呼（語句）に基づいて以下の処理を開始する。

【0067】

始めに、操作指示判定部５０５は、辞書データベース５３を参照し、音声認識した称呼（語句）と、辞書データベース５３に保存されている称呼（語句）とを比較する（Ｓ１）。そして、操作指示判定部５０５は、比較結果に基づいて、操作表示部１３に表示させる操作画面、実行制御部５０７に実行させる機能が明確、すなわち操作指示が妥当であるか否かを判断する（Ｓ２）。

【0068】

操作画面及び機能が明確であれば（Ｓ２のＹＥＳ）、ステップＳ５の処理に進む。一方、操作画面又は機能が明確でなければ（Ｓ２のＮＯ）、操作指示判定部５０５は、辞書データベース５３から読み出した各機能に対応する候補画面を操作表示部１３に表示させる（Ｓ３）。このとき、候補画面は操作表示部１３に所定の順序で表示され、又は縮小された候補画面が操作表示部１３に並べて表示される。

【0069】

次に、ユーザーは、実行を要求した機能の操作画面であるか否かを判断する（Ｓ４）。例えば、ユーザーが操作画面内に表示された次画面表示ボタンを押すと、操作指示判定部５０５は、ユーザーが要求した機能の操作画面ではなかったと判断できる。逆に、ユーザーが、例えば、操作画面内に表示された画面アイコンを押した場合に、操作指示判定部５０５は、ユーザーが要求した機能の操作画面であると判断できる。このため、ユーザーが要求した機能の操作画面でなければ（Ｓ４のＮＯ）、ステップＳ２に戻って処理を繰り返す。

【0070】

一方、ユーザーが要求した機能の操作画面であれば（Ｓ４のＹＥＳ）、機能設定部５０６は、操作表示部１３に表示された操作画面において入力項目が足りているか否かを判断する（Ｓ５）。入力項目が足りていれば（Ｓ５のＹＥＳ）、入力項目に従ってジョブが設定され、実行制御部５０７によりジョブの実行が制御される。

【0071】

一方、入力項目が足りていなければ（Ｓ５のＮＯ）、機能設定部５０６は、操作表示部１３に不足項目をハイライト表示させる（Ｓ６）。その後、不足項目に値が入力されると、機能設定部５０６は、ステップＳ５に戻って、再び入力項目が足りているか否かを判断する処理を行う。ステップＳ５～Ｓ７の処理は、入力項目が足りるまでの間、繰り返される。

【0072】

以上説明した一実施の形態に係る画像形成装置１では、音声入力部１４に入力された音声から認識された語句が不明確であっても、操作指示が妥当であって、この機能に必要な項目が設定されると、操作表示部１３に表示される操作画面の切替え等が行われずに機能の実行が開始される。ユーザーが画像形成装置１に行わせたい機能種別が不明であっても、ユーザーは、その機能種別の一部や、その機能種別から連想する語句を話すだけでよい。
また、ユーザーが音声入力してから、ジョブの実行が開始されるまでの操作画面の切替えに要する時間が短縮され、ユーザーの待ち時間を短縮することができる。また、操作画面の切替えに要する消費電力を削減することができる。

【0073】

また、操作指示が妥当でなければ、操作指示に対応する操作画面だけでなく、この操作指示に関連する他の機能種別に対応する操作画面も操作表示部１３に表示される。このため、ユーザーは、操作表示部１３に表示された複数の操作画面から、実行させたい機能を表す操作画面を選択し、画像形成装置１に機能の実行を指示することが可能となる。そして、ユーザーの画像形成装置１の利用経験が少なくても、ユーザーが、操作画面、及び画像形成装置１の機能を探す時間を最小限に抑えることができる。

【0074】

ここで、複数の操作画面が候補として選択された場合、操作表示部１３に１つずつ操作画面を切替え表示させたり、複数の操作画面を縮小して並べて表示させたりする。これにより、ユーザーは、実行させたい機能を表す操作画面を容易に選択することができる。

【0075】

また、ジョブの実行に際して設定が不足する項目がある場合、ユーザーにより選択された操作画面には、設定が不足する項目がハイライト表示される。このため、ユーザーは、設定が不足する項目を認識しやすくなり、この項目に改めて設定を行える。これにより、画像形成装置１は、確実にジョブを実行することが可能となる。

【0076】

なお、画像形成装置１は、操作指示が妥当であっても、実行制御部５０７が実行開始する機能を音声ガイダンス等でユーザーに通知したり、操作表示部１３に表示したりしてもよい。

【0077】

また、機能設定部５０６が行う機能の設定は自動化してもよい。例えば、ＣＯＰＹ機能の実行が指示された場合には、印刷枚数を「１枚」、用紙サイズを「Ａ４」、印刷設定片面を「片面」とする初期値が設定されてもよい。これにより、ユーザーが、自動原稿給送装置１２に原稿を置いて、「コピー」と発声するだけで、初期値が設定されたＣＯＰＹ機能を実行することも可能となる。

【0078】

本発明は上述した実施の形態に限られるものではなく、特許請求の範囲に記載した本発明の要旨を逸脱しない限りその他種々の応用例、変形例を取り得ることは勿論である。
例えば、上述した実施の形態は本発明を分かりやすく説明するために画像形成装置の構成を詳細かつ具体的に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されない。また、本実施の形態の構成の一部について、他の構成の追加、削除、置換をすることも可能である。
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

【符号の説明】

【0079】

１…画像形成装置、１０…プリンター部、１３…操作表示部、１４…音声入力部、３０…画像形成部、５０…制御部、５３…辞書データベース、５０４…入力画像処理部、５０５…操作指示判定部、５０６…機能設定部、５０７…実行制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】