特許 7119967 音声認識装置、画像形成装置、音声認識方法よび音声認識プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-08-08

(45)【発行日】2022-08-17

(54)【発明の名称】音声認識装置、画像形成装置、音声認識方法よび音声認識プログラム

(51)【国際特許分類】

   G10L 15/20 20060101AFI20220809BHJP

   G10L 21/0224 20130101ALI20220809BHJP

   G03G 21/00 20060101ALI20220809BHJP

【ＦＩ】

G10L15/20 370D

G10L21/0224

G03G21/00 380

【請求項の数】 12

(21)【出願番号】P 2018231002

(22)【出願日】2018-12-10

(65)【公開番号】P2020095091

(43)【公開日】2020-06-18

【審査請求日】2021-09-15

(73)【特許権者】

【識別番号】000001270

【氏名又は名称】コニカミノルタ株式会社

(74)【代理人】

【識別番号】100108523

【弁理士】

【氏名又は名称】中川 雅博

(72)【発明者】

【氏名】別所 一朗

【審査官】山下 剛史

(56)【参考文献】

【文献】特開２００４－７７６０１（ＪＰ，Ａ）

【文献】国際公開第２０１４／０１７３７１（ＷＯ，Ａ１）

【文献】特開２０１２－１３２９５０（ＪＰ，Ａ）

【文献】特開２００４－２０６０６３（ＪＰ，Ａ）

【文献】特開２０１１－２５３１２６（ＪＰ，Ａ）

【文献】特開２０１０－１３６３３５（ＪＰ，Ａ）

【文献】西村義隆他，ＭＦＴを用いたロボットの動作音に頑健な音声認識手法の提案，人工知能学会ＡＩチャレンジ研究会（第２４回）資料，2006年11月，pp.1-8

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ１０Ｌ １５／００－１５／３４，２１／００－２１／１８

Ｇ０３Ｇ ２１／００

(57)【特許請求の範囲】

【請求項1】

音を収集する音収集手段と、
それぞれが可動部を有する複数のハードウェア資源を制御してジョブを実行する画像形成装置に投入された前記ジョブに基づいて、複数の前記ハードウェア資源それぞれの経時的な動作の状態を示す動作シーケンスを決定する動作シーケンス決定手段と、
前記動作シーケンス決定手段により決定される前記動作シーケンスが所定期間に動作する１以上の前記ハードウェア資源が同一の複数の部分シーケンスを含む場合、複数の前記部分シーケンスのうち基本シーケンスの間に前記音収集手段により収集される音に基づいて、複数の前記部分シーケンスのうち前記基本シーケンスよりも後の参照シーケンスの間に前記音収集手段により収集される音を補正する補正手段と、
前記補正手段により補正された音に基づいて音声を認識する音声認識手段と、を備えた音声認識装置。

【請求項2】

前記動作シーケンス決定手段は、前記画像形成装置が第１ジョブと前記第１ジョブとは別の第２ジョブとを並列して実行する場合、前記第１ジョブにより定められる処理に基づいて決定される第１動作シーケンスと前記第２ジョブにより定められる処理に基づいて決定される第２動作シーケンスとを合成した合成シーケンスを、前記動作シーケンスとして決定する、請求項１に記載の音声認識装置。

【請求項3】

前記動作シーケンス決定手段は、前記動作シーケンスを決定した時点における前記画像形成装置が動作させる１以上の前記ハードウェア資源が前記ジョブを実行中に変更される場合、変更された後の１以上の前記ハードウェア資源を動作させるための前記動作シーケンスを新たに決定する、請求項１または２に記載の音声認識装置。

【請求項4】

複数の前記ハードウェア資源は、記録媒体に画像を形成する画像形成手段と、
それぞれが複数種類の記録媒体を収容し、かつ、前記画像形成手段に記録媒体を供給する複数の供給手段と、を含む請求項３に記載の音声認識装置。

【請求項5】

複数の前記ハードウェア資源のうち単位動作を繰り返す基本ハードウェア資源が前記単位動作を実行する単位期間で前記動作シーケンスを分割した複数の分割シーケンスを決定する分割手段を、さらに備え、
前記補正手段は、複数の前記分割シーケンスが前記単位期間で動作する１以上の前記ハードウェア資源が同一の複数の分割部分シーケンスを含む場合、複数の前記分割部分シーケンスそれぞれを前記部分シーケンスに決定する、請求項１～３のいずれかに記載の音声認識装置。

【請求項6】

前記補正手段は、複数の前記分割部分シーケンスが複数の第１分割部分シーケンスと、前記第１分割部分シーケンスとは前記単位期間に動作する１以上の前記ハードウェア資源が異なる複数の第２分割部分シーケンスとを含む場合、複数の前記第１分割部分シーケンスのうち第１基本シーケンスの間に前記音収集手段により収集される音に基づいて、複数の前記第１分割部分シーケンスのうち前記第１基本シーケンスよりも後の第１参照シーケンスの間に前記音収集手段により収集される音を補正し、複数の前記第２分割部分シーケンスのうち第２基本シーケンスの間に前記音収集手段により収集される音に基づいて、複数の前記第２分割部分シーケンスのうち前記第２基本シーケンスよりも後の第２参照シーケンスの間に前記音収集手段により収集される音を補正する、請求項５に記載の音声認識装置。

【請求項7】

複数の前記ハードウェア資源は、記録媒体に画像を形成する画像形成手段と、
画像が形成された複数の記録媒体をまとめて処理する後処理手段と、を含む、請求項６に記載の音声認識装置。

【請求項8】

前記後処理手段は、画像が形成された複数の記録媒体を物理的に加工する加工手段と、
複数の記録媒体をまとめて排出する位置を変更するシフト手段と、を含む、請求項７に記載の音声認識装置。

【請求項9】

前記基本ハードウェア資源は、記録媒体に画像を形成する画像形成手段である、請求項５または６に記載の音声認識装置。

【請求項10】

前記画像形成装置は、請求項１～９のいずれかに記載の音声認識装置を備えた、画像形成装置。

【請求項11】

音収集手段により収集された音を取得する音取得ステップと、
それぞれが可動部を有する複数のハードウェア資源を制御してジョブを実行する画像形成装置に投入された前記ジョブに基づいて、複数の前記ハードウェア資源それぞれの経時的な動作の状態を示す動作シーケンスを決定する動作シーケンス決定ステップと、
前記動作シーケンス決定ステップにおいて決定される前記動作シーケンスが所定期間に動作する１以上の前記ハードウェア資源が同一の複数の部分シーケンスを含む場合、複数の前記部分シーケンスのうち基本シーケンスの間に前記音取得ステップにおいて取得される音に基づいて、複数の前記部分シーケンスのうち前記基本シーケンスよりも後の参照シーケンスの間に前記音取得ステップにおいて取得される音を補正する補正ステップと、
前記補正ステップにおいて補正された音に基づいて音声を認識する音声認識ステップと、を音声認識装置に実行させる音声認識方法。

【請求項12】

音収集手段により収集された音を取得する音取得ステップと、
それぞれが可動部を有する複数のハードウェア資源を制御してジョブを実行する画像形成装置に投入された前記ジョブに基づいて、複数の前記ハードウェア資源それぞれの経時的な動作の状態を示す動作シーケンスを決定する動作シーケンス決定ステップと、
前記動作シーケンス決定ステップにおいて決定される前記動作シーケンスが所定期間に動作する１以上の前記ハードウェア資源が同一の複数の部分シーケンスを含む場合、複数の前記部分シーケンスのうち基本シーケンスの間に前記音取得ステップにおいて取得される音に基づいて、複数の前記部分シーケンスのうち前記基本シーケンスよりも後の参照シーケンスの間に前記音取得ステップにおいて取得される音を補正する補正ステップと、
前記補正ステップにおいて補正された音に基づいて音声を認識する音声認識ステップと、をコンピューターに実行させる音声認識プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

この発明は、音声認識装置、画像形成装置、音声認識方法よび音声認識プログラム、特に、ノイズをキャンセルする機能を備えた音声認識装置、その音声認識装置を備えた画像形成装置、その音声認識装置で実行される音声認識方法、および、その音声認識装置を制御するコンピューターにその音声認識方法を実行させる音声認識プログラムに関する。

【背景技術】

【0002】

近年、音声認識機能を備えたＭＦＰ(Ｍｕｌｔｉ Ｆｕｎｃｔｉｏｎ Ｐｅｒｉｐｈｅｒａｌ)等の画像形成装置が知られている。一方、ＭＦＰは、用紙等の記録媒体に画像を形成するための機械的な部材を多く備えているため、音が発生する。このため、ＭＦＰがジョブを実行している最中に、マイクロフォンで集音した音に、ＭＦＰがジョブを実行することにより発生する音が含まれる場合があり、音声認識の精度が低下するといった問題がある。

【0003】

特開２００４－７７６０１号公報には、操作者の発声に基づく音声入力により操作指令を可能とするとともに、装置が動作シーケンスに伴って稼働する際に発生する動作音を予め動作音データとしてデータ化しておき、前記入力音声を認識して操作指令を判別する際に、動作シーケンスに対応する前記動作音データを参照して前記音声入力において取得された音データから音声データを抽出し、該音声データに基づいて入力音声を認識することを特徴とする音声入力機能を有する稼働装置が記載されている。

【0004】

しかしながら、動作ノイズ音は、ＭＦＰが有する可動部材の経時変化や画像が形成される用紙の紙種の違い等により変動する。このため、ＭＦＰが同一のジョブを異なる時点で実行する場合、ＭＦＰが動作する音が異なる場合がある。このため、ＭＦＰで発生する音の経時的な変化に対応していないため、音声認識精度の向上に限界がある。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２００４－７７６０１号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

この発明は上述した問題点を解決するためになされたもので、この発明の目的の一つは、音声認識の精度を高めた音声認識装置を提供することである。

【0007】

この発明の他の目的は、音声認識の精度を高めた音声認識方法を提供することである。

【0008】

この発明のさらに他の目的は、音声認識の精度を高めた音声認識プログラムを提供することである。

【課題を解決するための手段】

【0009】

上述した目的を達成するために、この発明のある局面によれば、音声認識装置は、音を収集する音収集手段と、それぞれが可動部を有する複数のハードウェア資源を制御してジョブを実行する画像形成装置に投入されたジョブに基づいて、複数のハードウェア資源それぞれの経時的な動作の状態を示す動作シーケンスを決定する動作シーケンス決定手段と、動作シーケンス決定手段により決定される動作シーケンスが所定期間に動作する１以上のハードウェア資源が同一の複数の部分シーケンスを含む場合、複数の部分シーケンスのうち基本シーケンスの間に音収集手段により収集される音に基づいて、複数の部分シーケンスのうち基本シーケンスよりも後の参照シーケンスの間に音収集手段により収集される音を補正する補正手段と、補正手段により補正された音に基づいて音声を認識する音声認識手段と、を備える。

【0010】

この局面に従えば、画像形成装置に投入されたジョブに基づいて、動作シーケンスが決定され、動作シーケンスが所定期間に動作する１以上のハードウェア資源が同一の複数の部分シーケンスを含む場合、基本シーケンスの間に収集される音に基づいて、複数の部分シーケンスのうち基本シーケンスよりも後の参照シーケンスの間に収集される音が補正され、補正された音に基づいて音声が認識される。このため、画像形成装置で発生する音が経時的に変化する場合であっても画像形成装置で発生する音を集音された音から除去することができる。その結果、音声を認識する精度を高めた音声認識装置を提供することができる。

【0011】

好ましくは、動作シーケンス決定手段は、画像形成装置が第１ジョブと第１ジョブとは別の第２ジョブとを並列して実行する場合、第１ジョブにより定められる処理に基づいて決定される第１動作シーケンスと第２ジョブにより定められる処理に基づいて決定される第２動作シーケンスとを合成した合成シーケンスを、動作シーケンスとして決定する。

【0012】

この局面に従えば、第１ジョブにより定められる処理に基づいて決定される第１動作シーケンスと第２ジョブにより定められる処理に基づいて決定される第２動作シーケンスとを合成した合成シーケンスが動作シーケンスとして決定される。このため、合成シーケンスから基本シーケンスと参照シーケンスとを決定することができる。

【0013】

好ましくは、動作シーケンス決定手段は、動作シーケンスを決定した時点における画像形成装置が動作させる１以上のハードウェア資源がジョブを実行中に変更される場合、変更された後の１以上のハードウェア資源を動作させるための動作シーケンスを新たに決定する。

【0014】

この局面に従えば、動作するハードウェア資源が変更される場合に、変更後の１以上のハードウェア資源を動作させるための動作シーケンスが新たに決定されるので、動作するハードウェア資源の変更する場合であっても音声認識の精度を向上させることができる。

【0015】

好ましくは、複数のハードウェア資源は、記録媒体に画像を形成する画像形成手段と、それぞれが複数種類の記録媒体を収容し、かつ、画像形成手段に記録媒体を供給する複数の供給手段と、を含む。

【0016】

この局面に従えば、画像形成手段に記録媒体を供給している供給手段が、別の供給手段に変更される場合であっても音声認識精度を向上させることができる。

【0017】

好ましくは、複数のハードウェア資源のうち単位動作を繰り返す基本ハードウェア資源が単位動作を実行する単位期間で動作シーケンスを分割した複数の分割シーケンスを決定する分割手段を、さらに備え、補正手段は、複数の分割シーケンスが単位期間で動作する１以上のハードウェア資源が同一の複数の分割部分シーケンスを含む場合、複数の分割部分シーケンスを部分シーケンスに決定する。

【0018】

この局面に従えば、基本ハードウェア資源が単位動作を実行する単位期間で動作シーケンスを分割した複数の分割シーケンスが決定され、単位期間で動作する１以上のハードウェア資源が同一の複数の分割部分シーケンスが部分シーケンスに決定される。このため、部分シーケンスを容易に決定することができる。

【0019】

好ましくは、補正手段は、複数の分割部分シーケンスが複数の第１分割部分シーケンスと、複数の第１分割部分シーケンスとは単位期間に動作する１以上のハードウェア資源が異なる複数の第２分割部分シーケンスとを含む場合、複数の第１分割部分シーケンスのうち第１基本シーケンスの間に音収集手段により収集される音に基づいて、複数の第１分割部分シーケンスのうち第１基本シーケンスよりも後の第１参照シーケンスの間に音収集手段により収集される音を補正し、複数の第２分割部分シーケンスのうち第２基本シーケンスの間に音収集手段により収集される音に基づいて、複数の第２分割部分シーケンスのうち第２基本シーケンスよりも後の第２参照シーケンスの間に音収集手段により収集される音を補正する。

【0020】

この局面に従えば、複数の第１分割部分シーケンスのうち第１基本シーケンスの間に収集される音に基づいて、複数の第１分割部分シーケンスのうち第１基本シーケンスよりも後の第１参照シーケンスの間に収集される音が補正され、複数の第２分割部分シーケンスのうち第２基本シーケンスの間に収集される音に基づいて、複数の第２分割部分シーケンスのうち第２基本シーケンスよりも後の第２参照シーケンスの間に収集される音が補正される。このため、動作シーケンスが複数の第１分割部分シーケンスと複数の第２分割部分シーケンスとを含み、第１分割部分シーケンスと第２分割部分シーケンスとで動作するハードウェア資源が異なる場合であっても、音を補正することができる。

【0021】

好ましくは、複数のハードウェア資源は、記録媒体に画像を形成する画像形成手段と、画像が形成された複数の記録媒体をまとめて処理する後処理手段と、を含む。

【0022】

この局面に従えば、画像形成手段が動作する複数の第１分割部分シーケンスと、画像形成手段と後処理手段とが動作する複数の第２分割部分シーケンスそれぞれで、音を補正することができる。

【0023】

好ましくは、後処理手段は、画像が形成された複数の記録媒体を物理的に加工する加工手段と、複数の記録媒体をまとめて排出する位置を変更するシフト手段と、を含む。

【0024】

好ましくは、基本ハードウェア資源は、記録媒体に画像を形成する画像形成手段である。

【0025】

この局面に従えば、分割シーケンスを容易に決定することができる。

【0026】

この発明の他の局面によれば、画像形成装置は、上記の音声認識装置を備える。

【0027】

この局面に従えば、音声を認識する精度を高めた画像形成装置を提供することができる。

【0028】

この発明のさらに他の局面によれば、音声認識方法は、音収集手段により収集された音を取得する音取得ステップと、それぞれが可動部を有する複数のハードウェア資源を制御してジョブを実行する画像形成装置に投入されたジョブに基づいて、複数のハードウェア資源それぞれの経時的な動作の状態を示す動作シーケンスを決定する動作シーケンス決定ステップと、動作シーケンス決定ステップにおいて決定される動作シーケンスが所定期間に動作する１以上のハードウェア資源が同一の複数の部分シーケンスを含む場合、複数の部分シーケンスのうち基本シーケンスの間に音取得ステップにおいて取得される音に基づいて、複数の部分シーケンスのうち基本シーケンスよりも後の参照シーケンスの間に音取得ステップにおいて取得される音を補正する補正ステップと、補正ステップにおいて補正された音に基づいて音声を認識する音声認識ステップと、を音声認識装置に実行させる。

【0029】

この局面に従えば、音声を認識する精度を高めた音声認識方法を提供することができる。

【0030】

この発明のさらに他の局面によれば、音声認識プログラムは、音収集手段により収集された音を取得する音取得ステップと、それぞれが可動部を有する複数のハードウェア資源を制御してジョブを実行する画像形成装置に投入されたジョブに基づいて、複数のハードウェア資源それぞれの経時的な動作の状態を示す動作シーケンスを決定する動作シーケンス決定ステップと、動作シーケンス決定ステップにおいて決定される動作シーケンスが所定期間に動作する１以上のハードウェア資源が同一の複数の部分シーケンスを含む場合、複数の部分シーケンスのうち基本シーケンスの間に音取得ステップにおいて取得される音に基づいて、複数の部分シーケンスのうち基本シーケンスよりも後の参照シーケンスの間に音取得ステップにおいて取得される音を補正する補正ステップと、補正ステップにおいて補正された音に基づいて音声を認識する音声認識ステップと、をコンピューターに実行させる。

【0031】

この局面に従えば、音声を認識する精度を高めた音声認識プログラムを提供することができる。

【図面の簡単な説明】

【0032】

【図1】本発明の実施の形態の１つにおけるＭＦＰの外観を示す斜視図である。

【図2】ＭＦＰのハードウェア構成の概要を示すブロック図である。

【図3】ＭＦＰが備えるＣＰＵが有する機能の一例を示すブロック図である。

【図4】キーワードテーブルの一例を示す図である。

【図5】シーケンス決定処理の流れの一例を示すフローチャートである。

【図6】ジョブ制御処理の流れの一例を示すフローチャートである。

【図7】ジョブ生成処理の流れの一例を示すフローチャートである。

【図8】音声補正処理の流れの一例を示すフローチャートである。

【図9】ジョブの内容を示す第１の図である。

【図10】動作シーケンスの一例を示す第１の図である。

【図11】ジョブの内容を示す第２の図である。

【図12】ジョブの内容を示す第３の図である。

【図13】動作シーケンスの一例を示す第２の図である。

【図14】ジョブの内容を示す第３の図である。

【図15】動作シーケンスの一例を示す第３の図である。

【図16】動作シーケンスの一例を示す第４の図である。

【発明を実施するための形態】

【0033】

以下、本発明の実施の形態における画像形成装置について図面を参照して説明する。以下の説明では同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがってそれらについての詳細な説明は繰返さない。また、以下の説明においては、画像形成装置の一例としてＭＦＰを説明するが、ＭＦＰは、音声認識装置としても機能する。さらに、以下に説明するＭＦＰは、画像を形成する対象となる記録媒体として、複数種類の記録媒体のいずれにも画像を形成することが可能である。記録媒体は、紙などの用紙の他、ＯＨＰ（Ｏｖｅｒｈｅａｄ ｐｒｏｊｅｃｔｏｒ）シート、布等を含む。また、記録媒体の種類は、記録媒体の坪量および材質の違いの他、記録媒体のサイズの違いを含む。以下の説明では、特に言及しない限り、記録媒体を用紙とする場合を例に説明する。

【0034】

図１は、本発明の実施の形態の１つにおけるＭＦＰの外観を示す斜視図である。図２は、ＭＦＰのハードウェア構成の概要を示すブロック図である。図１および図２を参照して、ＭＦＰ１００は、メイン回路１１０と、原稿を読み取るための原稿読取部１３０と、原稿を原稿読取部１３０に搬送するための自動原稿搬送装置１２０と、原稿読取部１３０が原稿を読み取って出力する画像データに基づいて用紙等に画像を形成するための画像形成部１４０と、画像形成部１４０に用紙を供給するための給紙部１５０と、画像が形成された用紙を処理する後処理部１５５と、ユーザーインターフェースとしての操作パネル１６０とを含む。

【0035】

後処理部１５５は、シフト機構、パンチ機構及およびステープル機構を備えている。シフト機構は、画像形成部１４０により画像が形成された複数の用紙をまとめた束を別の束と異なる位置に配置するために、複数の用紙をまとめた束を配置する位置を変化させる機構である。パンチ機構は、複数の用紙をまとめた束にパンチ穴をあける機構である。ステープル機構は、複数の用紙をまとめた束にステープル針を打ち込む機構である。

【0036】

メイン回路１１０は、ＣＰＵ１１１と、通信インターフェース（Ｉ／Ｆ）部１１２と、ＲＯＭ１１３と、ＲＡＭ１１４と、大容量記憶装置としてのハードディスクドライブ（ＨＤＤ）１１５と、ファクシミリ部１１６と、音を収集するマイクロフォン１１７と、外部記憶装置１１８と、を含む。ＣＰＵ１１１は、自動原稿搬送装置１２０、原稿読取部１３０、画像形成部１４０、給紙部１５０、後処理部１５５および操作パネル１６０と接続され、ＭＦＰ１００の全体を制御する。

【0037】

ＲＯＭ１１３は、ＣＰＵ１１１が実行するプログラム、またはそのプログラムを実行するために必要なデータを記憶する。ＲＡＭ１１４は、ＣＰＵ１１１がプログラムを実行する際の作業領域として用いられる。さらに、ＲＡＭ１１４は、原稿読取部１３０から連続的に送られてくる画像データを一時的に記憶する。

【0038】

通信Ｉ／Ｆ部１１２は、ＭＦＰ１００をネットワークに接続するためのインターフェースである。ＣＰＵ１１１は、通信Ｉ／Ｆ部１１２を介して、他のコンピューターとの間で通信し、データを送受信する。また、通信Ｉ／Ｆ部１１２は、ネットワークを介してインターネットに接続されたコンピューターと通信が可能である。

【0039】

ファクシミリ部１１６は、公衆交換電話網（ＰＳＴＮ）に接続され、ＰＳＴＮにファクシミリデータを送信する、またはＰＳＴＮからファクシミリデータを受信する。ファクシミリ部１１６は、受信したファクシミリデータを、ＨＤＤ１１５に記憶する、または画像形成部１４０に出力する。画像形成部１４０は、ファクシミリ部１１６により受信されたファクシミリデータを用紙にプリントする。また、ファクシミリ部１１６は、ＨＤＤ１１５に記憶されたデータをファクシミリデータに変換して、ＰＳＴＮに接続されたファクシミリ装置に送信する。

【0040】

外部記憶装置１１８は、ＣＰＵ１１１により制御され、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１１８Ａ、または半導体メモリが装着される。本実施の形態においては、ＣＰＵ１１１は、ＲＯＭ１１３に記憶されたプログラムを実行する例を説明するが、ＣＰＵ１１１は、外部記憶装置１１８を制御して、ＣＤ－ＲＯＭ１１８ＡからＣＰＵ１１１が実行するためのプログラムを読出し、読み出したプログラムをＲＡＭ１１４に記憶し、実行するようにしてもよい。

【0041】

マイクロフォン１１７が配置される位置を限定するものではないが、マイクロフォン１１７は、操作パネル１６０を操作するユーザーが発声する音を収集するために、操作パネル１６０の近傍に配置されるのが好ましい。マイクロフォン１１７は、収集した音をデジタル信号の音データに変換し、音データをＣＰＵ１１１に出力する。

【0042】

なお、ＣＰＵ１１１が実行するためのプログラムを記憶する記録媒体としては、ＣＤ－ＲＯＭ１１８Ａに限られず、フレキシブルディスク、カセットテープ、光ディスク（ＭＯ（Ｍａｇｎｅｔｉｃ Ｏｐｔｉｃａｌ Ｄｉｓｃ）／ＭＤ（Ｍｉｎｉ Ｄｉｓｃ）／ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ））、ＩＣカード、光カード、マスクＲＯＭ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）などの半導体メモリ等の媒体でもよい。さらに、ＣＰＵ１１１がネットワークに接続されたコンピューターからプログラムをダウンロードしてＨＤＤ１１５に記憶する、または、ネットワークに接続されたコンピューターがプログラムをＨＤＤ１１５に書込みするようにして、ＨＤＤ１１５に記憶されたプログラムをＲＡＭ１１４にロードしてＣＰＵ１１１で実行するようにしてもよい。ここでいうプログラムは、ＣＰＵ１１１により直接実行可能なプログラムだけでなく、ソースプログラム、圧縮処理されたプログラム、暗号化されたプログラム等を含む。

【0043】

図３は、ＭＦＰが備えるＣＰＵが有する機能の一例を示すブロック図である。図３に示す機能は、ＭＦＰ１００が備えるＣＰＵ１１１が、ＲＯＭ１１３、ＨＤＤ１１５またはＣＤ－ＲＯＭ１１８Ａに記憶された音声認識プログラムを実行することにより、ＣＰＵ１１１に形成される機能である。図３を参照して、ＣＰＵ１１１は、音取得部５１と、補正部５３と、音声認識部５５と、操作決定部５７と、操作受付部５９と、ジョブ生成部６１と、処理実行部６３と、動作シーケンス決定部６５と、を含む。

【0044】

処理実行部６３は、ジョブを実行する。処理実行部６３は、ジョブにより定められる処理を実行するために、複数のハードウェア資源を制御する。ハードウェア資源は、通信Ｉ／Ｆ部１１２、ＨＤＤ１１５、ファクシミリ部１１６、自動原稿搬送装置１２０、原稿読取部１３０、画像形成部１４０、給紙部１５０、後処理部１５５および操作パネル１６０を含む。ジョブは、例えば、コピージョブ、プリントジョブ、スキャンジョブ、ファクシミリ送信ジョブ、データ送信ジョブを含む。なお、処理実行部６３が実行可能なジョブは、これらに限定されることなく、他のジョブを含んでもよい。

【0045】

コピージョブは、原稿読取部１３０に原稿を読み取らせるスキャン処理と、原稿読取部１３０が原稿を読み取って出力するデータの画像を画像形成部１４０に形成させるプリント処理とを含む。プリントジョブは、画像形成部１４０に、ＨＤＤ１１５に記憶されたデータ、通信Ｉ／Ｆ部１１２が外部から受信するプリントデータの画像を用紙に形成させるプリント処理を含む。スキャンジョブは、原稿読取部１３０に原稿を読み取らせるスキャン処理と、原稿読取部１３０が原稿を読み取って出力する画像データを出力する出力処理を含む。出力処理は、データをＨＤＤ１１５に記憶させるデータ記憶処理と、データを通信Ｉ／Ｆ部１１２に外部に送信するデータ送信処理を含む。ファクシミリ送信ジョブは、原稿読取部１３０に原稿を読み取らせるスキャン処理と、原稿読取部１３０が原稿を読み取って出力するデータをファクシミリ部１１６に送信させるファクシミリ送信処理とを含む。データ送信ジョブは、ＨＤＤ１１５に記憶されたデータまたは原稿読取部１３０が原稿を読み取って出力するデータを、通信Ｉ／Ｆ部１１２を制御して他のコンピューターに送信するデータ送信処理を含む。

【0046】

処理実行部６３は、複数のジョブを並列で実行する場合がある。例えば、プリント処理を定めるジョブと、スキャン処理を定めるジョブとを並列で実行することが可能である。

【0047】

処理実行部６３は、単一のジョブを実行中に、制御するハードウェア資源が変更される場合、変更前後のハードウェア資源それぞれを識別するための資源識別情報を動作シーケンス決定部６５に出力する。例えば処理実行部６３は、給紙部１５０が備える３つの給紙カセットのうち第１段目の給紙カセットから用紙を供給していた状態で、第１段目の給紙カセットに収容された用紙がなくなる場合に、代替可能な用紙を収容する第２段目の給紙カセットから用紙を供給する状態に変更する。

【0048】

音取得部５１は、音を収集するマイクロフォン１１７と接続され、マイクロフォン１１７が出力する音データを取得する。音取得部５１は、マイクロフォン１１７から取得される音データを補正部５３に出力する。

【0049】

補正部５３は、音取得部５１から入力される音データから音声の成分を抽出し、音声の成分の音データを音声認識部５５に出力する。補正部５３の詳細は、後述する。

【0050】

音声認識部５５は、補正部５３から入力される音データを音声認識する。具体的には、音声認識部５５は、音データを文字情報に変換する。音声認識部５５は、文字情報を操作決定部５７に出力する。音データから音声を認識する技術は公知なので、ここでは説明を繰り返さない。

【0051】

操作決定部５７は、音声認識部５５から入力される文字情報から操作を決定する。操作決定部５７は、文字情報からキーワードを抽出する。ＭＦＰ１００が実行可能な処理にキーワードを関連付けた処理関連情報としてキーワードテーブルがＨＤＤ１１５に記憶されている。操作決定部５７は、キーワードテーブルで定められた１以上のキーワードのいずれかを文字情報から抽出する。操作決定部５７は、１つの文字情報から複数のキーワードを抽出する場合があり、１つの文字情報からキーワードを抽出しない場合がある。操作決定部５７は、文字情報から抽出されたキーワードを操作受付部５９に出力する。

【0052】

図４は、キーワードテーブルの一例を示す図である。キーワードテーブルは、キーワードと、ＭＦＰ１００に実行させる処理またはＭＦＰ１００が実行する処理を特定するための設定値とを関連付ける複数のキーワードレコードを含む。キーワードレコードは、キーワードの項目と処理／設定値の項目とを含む。キーワードレコードにおいて、キーワードの項目にはキーワードが設定され、処理／設定値の項目には処理の名称または設定値が設定される。キーワードテーブルが、キーワードとＭＦＰ１００に実行させる処理とを関連付ける一例としては、キーワード「スキャン」を含むキーワードレコードは、キーワード「スキャン」に対してＭＦＰ１００に原稿を読み取らせるスキャン処理を関連付ける。また、キーワード「２ｉｎ１」を含むキーワードレコードは、キーワード「２ｉｎ１」に対して２ページの画像を合成する２ｉｎ１処理を関連付ける。キーワードテーブルは、１つのキーワードに対して複数の処理を関連付ける場合がある。例えば、キーワード「コピー」を含むキーワードレコードは、キーワード「コピー」に対してコピー処理を関連付ける。コピー処理は、ＭＦＰ１００に原稿を読み取らせるスキャン処理と用紙に画像を形成するプリント処理とを含む。

【0053】

キーワードテーブルが、キーワードとＭＦＰ１００が実行する処理を特定する設定値とを関連付ける一例としては、キーワード「カラー」に対してＭＦＰ１００が実行する処理の設定値としてフルカラーを関連付ける。また、別の一例として、キーワード「ユーザー名」に対してＭＦＰ１００が実行する処理の設定値としてユーザー名のユーザーの宛先を関連付ける。なお、キーワード「Ｔａｒｏ」は予め登録されたユーザーの名称を示す。宛先は、名称が「Ｔａｒｏ」のユーザーに対して予め登録された電子メールアドレスである。

【0054】

図３に戻って、操作決定部５７は、キーワードに基づいて、操作を決定する。キーワードからＭＦＰ１００に実行させる処理を設定する操作、または、ＭＦＰ１００が処理を実行するために用いる設定値を設定する操作を決定する。操作決定部５７は、キーワードから決定された操作を操作受付部５９に出力する。例えば、操作決定部５７は、キーワード「コピー」から、キーワード「コピー」に関連付けられたスキャン処理およびプリント処理を設定する操作を決定し、キーワード「フルカラー」からフルカラーの設定値を設定する操作を決定する。また、操作決定部５７は、キーワード「送る」からキーワード「送る」に関連付けられたスキャン処理およびデータ送信処理を設定する操作を決定し、キーワード「Ｔａｒｏ」からキーワード「Ｔａｒｏ」に関連付けられた宛先の設定値を設定する操作を決定する。

【0055】

操作受付部５９は、操作決定部５７から操作が入力される。また、操作受付部５９は、ユーザーが操作部１６３に入力する操作を受け付ける。操作受付部５９は、操作決定部５７から入力される操作および操作部１６３にユーザーにより入力された操作を、ジョブ生成部６１に出力する。

【0056】

ジョブ生成部６１は、操作受付部５９から入力される操作に従って、処理実行部６３が実行するジョブを生成する。ジョブ生成部６１は、操作決定部５７から入力される操作に従ってジョブを生成する。具体的には、ジョブ生成部６１は、処理を設定する操作または設定値を設定する操作にしたがって、処理を設定する設定操作で特定される処理を、設定値を設定する操作により特定される設定値で処理実行部６３に実行させるジョブを生成する。ジョブ生成部６１は、ジョブを処理実行部６３および動作シーケンス決定部６５に出力する。

【0057】

例えば、スキャン処理およびプリント処理を設定する操作と、フルカラーの設定値を設定する操作とが、操作受付部５９から入力される場合、ジョブ生成部６１は、原稿をフルカラーで読み取るスキャン処理と、スキャン処理が実行されて出力されるフルカラーの画像データの画像をフルカラーで用紙に形成するプリント処理とを定めたコピージョブを生成する。また、スキャン処理およびデータ送信処理を設定する操作と、キーワード「Ｔａｒｏ」に関連付けられた宛先の設定値を設定する操作とが、操作受付部５９から入力される場合、ジョブ生成部６１は、原稿をモノクロで読み取るスキャン処理と、スキャン処理が実行されて出力されるモノクロの画像データを名称がＴａｒｏのユーザーに対して登録された電子メールアドレス宛てに電子メールを送信するデータ送信処理とを定めたデータ送信ジョブを生成する。

【0058】

動作シーケンス決定部６５は、複数のハードウェア資源それぞれの経時的な動作の状態を示す動作シーケンスを決定する。具体的には、動作シーケンス決定部６５は、ジョブ生成部６１からジョブが入力される場合、複数のハードウェア資源のうちからジョブにより定められる処理を実行するために制御する１以上のハードウェア資源を決定する。動作シーケンス決定部６５は、１以上のハードウェア資源それぞれの経時的な動作の状態に基づいて、そのジョブを実行する間の動作シーケンスを決定する。動作シーケンス決定部６５は、動作シーケンスを補正部５３に出力する。

【0059】

動作シーケンス決定部６５は、合成シーケンス決定部７３と、変更対応部７５と、を含む。合成シーケンス決定部７３は、処理実行部６３が第１ジョブと第１ジョブとは別の第２ジョブとを並列して実行する場合、第１ジョブにより定められる処理に基づいて決定される第１動作シーケンスと第２ジョブにより定められる処理に基づいて決定される第２動作シーケンスとを合成した合成シーケンスを、動作シーケンスに決定する。例えば、処理実行部６３が、プリント処理を定める第１ジョブと、スキャン処理を定める第２ジョブとを並列で実行する場合がある。合成シーケンス決定部７３は、第１ジョブにより定められるプリント処理に基づいて第１動作シーケンスを決定し、第２ジョブにより定められるスキャン処理に基づいて第２動作シーケンスを決定する。合成シーケンス決定部７３は、第１動作シーケンスと第２動作シーケンスとを合成した合成シーケンスを、動作シーケンスに決定する。

【0060】

変更対応部７５は、動作シーケンスを決定した時点における処理実行部６３が動作させる１以上のハードウェア資源がジョブを実行中に変更される場合、変更された後の１以上のハードウェア資源を動作させるための動作シーケンスを新たに決定する。具体的には、例えば、処理実行部６３が、プリント処理を定めるジョブを実行している間に、給紙部１５０が備える３つの給紙カセットのうち第１段目の給紙カセットから用紙を供給する第１状態から第２段目の給紙カセットから用紙を供給する第２状態に切り換える場合がある。第１段目の給紙カセットに収容されている用紙がなくなる場合などである。この場合、処理実行部６３が動作させる１以上のハードウェア資源が、第１段目の給紙カセットから第２段目の給紙カセットに切り換えられる。第１状態では、動作シーケンス決定部６５は、第１給紙カセットを含む複数のハードウェア資源それぞれの経時的な動作の状態を示す動作シーケンスを決定している。変更対応部７５は、第１状態から第２状態に変更する場合、第２給紙カセットを含む複数のハードウェア資源それぞれの経時的な動作の状態を示す動作シーケンスを新たに決定する。

【0061】

補正部５３は、動作シーケンス決定部６５から入力される動作シーケンスが所定期間に動作する１以上のハードウェア資源が同一の複数の部分シーケンスを含む場合、複数の部分シーケンスのうち基本シーケンスの間に音取得部５１により取得される音データに基づいて、複数の部分シーケンスのうち基本シーケンスよりも後の参照シーケンスの間に音取得部５１により取得される音データを補正する。基本シーケンスは、複数の部分シーケンスのうち最も先の部分シーケンスが好ましい。具体的は、補正部５３は、基本シーケンスの間に音取得部５１から入力される音データを基本データとしてＨＤＤ１１５に記憶し、参照シーケンスの間に音取得部５１から入力される音データをＨＤＤ１１５に記憶された基本データで補正する。音取得部５１から入力される音データから基本データの成分を除去する。例えば、補正部５３は、参照シーケンスの間に音取得部５１から入力される音データから基本データを周波数ごとに減算する。

【0062】

補正部５３は、分割部７１を含む。複数のハードウェア資源のうち単位動作を繰り返す基本ハードウェア資源が単位動作を実行する単位期間で動作シーケンスを分割した複数の分割シーケンスを決定する。ここでは、ジョブをプリント処理する場合において、画像形成部１４０を基本ハードウェア資源とする場合を例に説明する。プリント処理を定めるジョブが複数枚の用紙に画像を形成する処理を定める場合、単位動作は、画像形成部１４０が１枚の用紙に画像を形成する動作であり、単位期間は、画像形成部１４０が１枚の用紙に形成する画像の形成を開始してから画像形成部１４０が次の用紙に形成するがの形成を開始する直前までの時間である。したがって、分割部７１は、プリント処理を定めるジョブに基づいて決定される動作シーケンスを、画像形成する用紙の枚数と同じ数の分割シーケンスに分割する。

【0063】

補正部５３は、複数の分割シーケンスが単位期間で動作する１以上のハードウェア資源が同一の複数の分割部分シーケンスを含む場合、複数の分割シーケンスのうちで単位期間に動作する１以上のハードウェア資源が同一の複数の分割部分シーケンスそれぞれを部分シーケンスに決定する。

【0064】

ジョブがプリント処理と後処理とを定める場合がある。プリント処理においては、単位動作は、画像形成部１４０が１枚の用紙に画像を形成する動作である。これに対して、後処理は、画像形成部１４０が複数枚の用紙に画像を形成した後に後処理部１５５が１回動作する。例えば、後処理を３枚の用紙をまとめてステープル処理する場合、画像形成部１４０が３枚の用紙に画像を形成した後に後処理部１５５が１回動作する。このため、動作シーケンスを分割した複数の分割シーケンスは、後処理部１５５が動作しない複数の分割部分シーケンスと、後処理部１５５が動作する複数の分割部分シーケンスとを含む。以下、後処理部１５５が動作しない分割部分シーケンスを第１分割部分シーケンスといい、後処理部１５５が動作する分割部分シーケンスを第２分割部分シーケンスという。

【0065】

補正部５３は、複数の第１分割部分シーケンスのうち第１基本シーケンスの間に音取得部５１が出力する音データに基づいて、複数の第１分割部分シーケンスのうち第１基本シーケンスよりも後の第１参照シーケンスの間に音取得部５１が出力する音データを補正する。複数の第１分割部分シーケンスの第１基本シーケンスは、複数の第１分割部分シーケンスのうちで最も先の第１分割部分シーケンスが好ましい。また、補正部５３は、複数の第２分割部分シーケンスのうち第２基本シーケンスの間に音取得部５１が出力する音データに基づいて、複数の第２分割部分シーケンスのうち第２基本シーケンスよりも後の第２参照シーケンスの間に音取得部５１が出力する音データを補正する。複数の第２分割部分シーケンスの第１基本シーケンスは、複数の第２分割部分シーケンスのうちで最も先の第２分割部分シーケンスが好ましい。

【0066】

図５は、シーケンス決定処理の流れの一例を示すフローチャートである。シーケンス決定処理は、ＭＦＰ１００が備えるＣＰＵ１１１が、ＲＯＭ１１３、ＨＤＤ１１５またはＣＤ－ＲＯＭ１１８Ａに記憶された音声認識プログラムを実行することにより、ＣＰＵ１１１により実行される処理である。図５を参照して、ＣＰＵ１１１は、ジョブを決定したか否かを判断する（ステップＳ０１）。ジョブが決定されたならば処理はステップＳ０２に進むが、そうでなければ処理はステップＳ１１に進む。

【0067】

ステップＳ０２においては、ジョブに基づいて動作シーケンスが決定され、処理はステップＳ０３に進む。ＣＰＵ１１１は、複数のハードウェア資源それぞれの経時的な動作の状態を示す動作シーケンスを決定する。具体的には、ＣＰＵ１１１は、複数のハードウェア資源のうちからジョブにより定められる処理を実行するために制御する１以上のハードウェア資源を決定し、そのジョブを実行する間に制御される１以上のハードウェア資源それぞれの経時的な動作の状態を示す動作シーケンスを決定する。

【0068】

ステップＳ０３においては、ジョブが実行中か否かを判断する。ステップＳ０１において決定されたジョブとは別のジョブが実行されていれば処理はステップＳ０４に進むが、そうでなければ処理はステップＳ０５に進む。ステップＳ０４においては、実行中のジョブに対して決定された動作シーケンスと、ステップＳ０２において決定された動作シーケンスとを合成した合成シーケンスを生成し、処理をステップＳ０５に進める。合成シーケンスが生成される場合、ステップＳ０５以降の処理において、合成シーケンスが、動作シーケンスに決定され、動作シーケンスとして取り扱われる。

【0069】

ステップＳ１１においては、それまでに実行していたジョブが終了したか否かが判断される。ジョブが終了したならば処理はステップＳ１２に進むが、そうでなければ処理はステップＳ０１に戻る。ステップＳ１２においては、実行中のジョブが存在するか否かが判断される。実行中のジョブが存在するならば処理はステップＳ１３に進むが、そうでなければ処理はステップＳ０１に戻る。ステップＳ１３においては、実行中ジョブの動作シーケンスが決定され、処理はステップＳ０５に進む。

【0070】

ステップＳ０５においては、変更フラグがＯＮに設定され、処理はステップＳ０６に進む。変更フラグは、動作シーケンスが変更されたことを示すフラグであり、動作シーケンスが変更される場合にＯＮに設定され、その動作シーケンスの基本シーケンスにおける音が記憶されるとＯＦＦに設定される。

【0071】

ステップＳ０６においては、分割シーケンスが決定され、処理はステップＳ０７に進む。ＣＰＵ１１１は、ステップＳ０２において決定された動作シーケンス、ステップＳ０４が実行される場合には合成シーケンスである動作シーケンス、ステップＳ１３が実行される場合は実行中の動作シーケンスを処理対象とする。ＣＰＵ１１１は、処理対象の動作シーケンスを、複数のハードウェア資源のうち単位動作を繰り返す基本ハードウェア資源が単位動作を実行する単位期間で分割することにより、複数の分割シーケンスを決定する。ここでは、ステップＳ０１において決定されたジョブがプリント処理を定める場合を例に説明する。ＣＰＵ１１１は、画像形成部１４０を基本ハードウェア資源に決定し、画像形成部１４０が１枚の用紙に画像を形成する動作に要する単位期間で動作シーケンスを分割することにより複数の分割シーケンスを決定する。

【0072】

ステップＳ０７においては、複数の分割シーケンスのうちから単位時間内に動作する１以上のハードウェア資源が同一の分割シーケンスが抽出され、処理はステップＳ０８に進む。ステップＳ０８においては、ステップＳ０７において抽出された複数の分割シーケンスを部分シーケンスに決定し、処理をステップＳ０９に進める。ステップＳ０９においては、複数の部分シーケンスのうちから基本シーケンスが決定され、処理はステップＳ１０に進む。複数の部分シーケンスのうち最も先の部分シーケンスが基本シーケンスに決定される。ステップＳ１０においては、参照シーケンスが決定され、処理は終了する。複数の部分シーケンスのうち基本シーケンスより後の１以上の部分シーケンスが参照シーケンスに決定される。

【0073】

ＣＰＵ１１１は、ステップＳ０７において、複数の分割シーケンスのうちから単位時間内に動作する１以上のハードウェア資源が同一の分割シーケンスを抽出し、それらを部分シーケンスに決定する。単位時間内に動作する１以上のハードウェア資源が同一の分割シーケンスの種類が複数の場合がある。例えば、ジョブがプリント処理と後処理とを定める場合である。この場合、ＣＰＵ１１１は、動作シーケンスを分割した複数の分割シーケンスのうちから単位時間内に動作する１以上のハードウェア資源が同一でかつ後処理部１５５が動作しない複数の分割シーケンスを抽出し、それらを第１分割部分シーケンスに決定するとともに、単位時間内に動作する１以上のハードウェア資源が同一でかつ後処理部１５５が動作する複数の分割シーケンスを抽出し、それらを第２分割部分シーケンスに決定する。

【0074】

そして、ＣＰＵ１１１は、ステップＳ０９において、複数の第１分割部分シーケンスのうち最も先の第１分割部分シーケンスを第１基本シーケンスに決定するとともに、複数の第２分割部分シーケンスのうち最も先の第２分割部分シーケンスを第２基本シーケンスに決定する。さらに、ＣＰＵ１１１は、ステップＳ１０において、複数の第１分割部分シーケンスのうち第１基本シーケンス以外の１以上の第１分割部分シーケンスそれぞれを第１参照シーケンスに決定するとともに、複数の第２分割部分シーケンスのうち基本シーケンス以外の１以上の第２分割部分シーケンスそれぞれを第２参照シーケンスに決定する。

【0075】

図６は、ジョブ制御処理の流れの一例を示すフローチャートである。ジョブ制御処理は、ＭＦＰ１００が備えるＣＰＵ１１１が、ＲＯＭ１１３、ＨＤＤ１１５またはＣＤ－ＲＯＭ１１８Ａに記憶された音声認識プログラムを実行することにより、ＣＰＵ１１１により実行される処理である。図６を参照して、ＣＰＵ１１１は、ジョブ生成処理を実行し（ステップＳ２１）、処理をステップＳ２２に進める。ジョブ生成処理の詳細は後述するが、ＭＦＰ１００を操作するユーザーが入力する操作に従ってジョブを生成する処理である。

【0076】

ステップＳ２２においては、実行指示操作が受け付けられたか否かが判断される。実行指示操作が受け付けられるまで待機状態となり、実行指示操作が受け付けられたならば処理はステップＳ２３に進む。操作部１６３にユーザーにより入力された操作が実行指示操作か否かが判断される。ステップＳ２３においては、ステップＳ２１において生成されたジョブの実行が開始され、処理はステップＳ２４に進む。ステップＳ２４においては、変更フラグがＯＮに設定されているか否かを判断する。変更フラグがＯＮに設定されているならば処理はステップＳ２５に進むが、そうでなければ処理はステップＳ２８に進む。

【0077】

ステップＳ２５においては、ステップＳ２３において開始されたジョブが基本シーケンスの状態か否かが判断される。基本シーケンスの状態ならば処理はステップＳ２６に進むが、そうでなければ処理はステップＳ２８に進む。ステップＳ２６においては、基本データが記憶され、処理はステップＳ２７に進む。ＣＰＵ１１１は、基本シーケンスの間にマイクロフォン１１７が出力する音データを基本データとしてＨＤＤ１１５に記憶する。

【0078】

ステップＳ２７においては、変更フラグがＯＦＦに設定され、処理はステップＳ２８に進む。ステップＳ２８においては、ステップＳ２３において開始されたジョブが終了したか否かが判断される。ジョブが終了したならば処理は終了するが、そうでなければ処理はステップＳ２４に戻る。

【0079】

図７は、ジョブ生成処理の流れの一例を示すフローチャートである。ジョブ生成処理は、ジョブ制御処理のステップＳ２１において実行される処理である。図７を参照して、ＣＰＵ１１１は、操作パネル１６０で操作を受け付けたか否かを判断する。操作部１６３がユーザーにより入力される操作を受け付けたならば処理をステップＳ３２に進めるが、そうでなければ処理をステップＳ３４に進める。ステップＳ３２においては、処理または設定値が設定され、処理はステップＳ３３に進む。

【0080】

ステップＳ３１において受け付けられた操作が処理の選択を指示する処理選択操作ならば、処理選択操作により特定される処理がジョブに設定され、ステップＳ３１において受け付けられた操作が処理を実行するための設定値の設定を指示する設定操作ならば、設定操作により特定される設定値が設定される。

【0081】

ステップＳ３４においては、マイクロフォン１１７が出力する音データが取得され、処理はステップＳ３５に進む。マイクロフォン１１７を制御し、マイクロフォン１１７が出力する音データが取得される。ステップＳ３５においては、ジョブが実行中か否かが判断される。ジョブが実行中ならば処理はステップＳ３６に進むが、そうでなければ処理はステップＳ３７に進む。ステップＳ３６においては、音声補正処理が実行され、処理はステップＳ３７に進む。音声補正処理の詳細は後述するが、音データを補正する処理である。ステップＳ３７においては、音データで特定される音声が音声認識され、処理はステップＳ３８に進む。音声認識により音声が文字で構成される文字情報に変換される。ステップＳ３８においては、音声から変換された文字情報が決定され、処理はステップＳ３９に進む。

【0082】

ステップＳ３９においては、文字情報がキーワードを含むか否かが判断される。文字情報がキーワードを含むならば処理はステップＳ４０に進むが、そうでなければ処理はステップＳ３３に進む。ステップＳ４０においては、文字情報に含まれるキーワードに対応する処理または設定値が特定され、処理はステップＳ３２に進む。ステップＳ３２においては、ステップＳ４０において決定された処理または設定値が設定される。

【0083】

ステップＳ３３においては、ジョブが決定されたか否かを判断する。ステップＳ３２において設定された処理または設定値に基づいて、ジョブが決定されるか否かを判断する。ジョブが決定されたならば処理はジョブ制御処理に戻るが、そうでなければ処理はステップＳ３１に戻る。

【0084】

図８は、音声補正処理の流れの一例を示すフローチャートである。音声補正処理は、ジョブ生成処理のステップＳ３６において実行される処理である。図８を参照して、ＣＰＵ１１１は、実行中のジョブが参照シーケンスの状態か否かを判断する（ステップＳ４１）。参照シーケンスならば処理はステップＳ４２に進むが、そうでなければ処理はジョブ生成処理に戻る。ステップＳ４２においては、基本データがＨＤＤ１１５から読出され、処理はステップＳ４３に進む。基本データは、ジョブを実行している状態が基本シーケンスの間にマイクロフォン１１７から出力される音データである。ステップＳ４３においては、参照シーケンスの間にマイクロフォン１１７が出力する音データが基本データで補正され、処理はジョブ生成処理に戻る。参照シーケンスの間にマイクロフォン１１７が出力する音データをＨＤＤ１１５に記憶された基本データで補正する。参照シーケンスの間にマイクロフォン１１７が出力する音データから基本データの成分を除去する。例えば、ＣＰＵ１１１は、周波数ごとに、音データから基本データを減算する。

【0085】

図９は、ジョブの内容を示す第１の図である。図９を参照して、ジョブの内容は、ジョブ種類の項目、読み込みの項目、用紙の項目、カラーの項目、給紙口の項目、印刷面の項目、後処理の項目により特定される。ジョブ種の項目は、ジョブの種類を示す。読み込みの項目は、原稿の読取方法を示す。用紙の項目は、画像が形成される用紙の種類を示す。カラーの項目は、カラーまたはモノクロのいずれで画像形成するかを示す。給紙口の項目は、上段、中段および下段のいずれの給紙カセットを用いるかを示す。印刷面の項目は、用紙の画像が形成される面を示す。後処理の項目は、複数の用紙に実行される後処理の内容を示す。

【0086】

図９においては、ジョブ種類の項目に、「コピー１ｔｏ３」が設定されており、１枚の原稿を１回読み取るスキャン処理と、３枚の用紙に画像形成するプリント処理が定められたジョブであること示される。読み込みの項目に、「ＤＦ Ａ４ １枚」が設定されており、Ａ４サイズの１枚の原稿を、自動原稿搬送装置１２０で読み取る読取方法で原稿を読み取る処理が定められたジョブであることが示される。用紙の項目に「Ａ４ ３枚」が設定されており、Ａ４サイズの用紙の３枚に画像を形成する処理が定められたジョブであることが示される。カラーの項目に「フルカラー」が設定されており、カラーで画像を形成する処理を定めたジョブであることが示される。給紙口の項目に「トレイ１」が設定されており、上段のカセットに収納された用紙を搬送する処理を定めたジョブであることが示される。印刷面の項目に「片面」が設定されており、用紙の片面に画像を形成する処理を定めたジョブであることが示される。後処理の項目に何も設定されておらず、後処理が定められていないジョブであることが示される。

【0087】

図１０は、動作シーケンスの一例を示す第１の図である。図１０に示す動作シーケンスは、図９に示した内容のジョブが実行される間の動作シーケンスを示す。図９に示した動作シーケンスは、スキャン処理と、プリント処理とを並列で実行するジョブである。図１０（Ａ）は、スキャン処理の動作シーケンスの一例を示す図である。図１０（Ｂ）は、プリント処理の動作シーケンスの一例を示す図である。図１０（Ｃ）は、合成シーケンスの一例を示す図である。

【0088】

図１０（Ａ）を参照して、時刻ｔ１においてスキャン処理が開始さされ、時刻ｔ３で３枚の原稿の読取が完了する。スキャン処理において、ハードウェア資源として、自動原稿搬送装置１２０および原稿読取部１３０が動作する。図１０（Ｂ）を参照して、時刻ｔ３より前の時刻ｔ２において、プリント処理が実行される。プリント処理において、ハードウェア資源として画像形成部１４０および給紙部１５０が動作する。１枚目の用紙に対するプリント処理は、時刻ｔ２で開始されて時刻ｔ４で終了する。２枚目の用紙に対するプリント処理は、時刻ｔ４で開始されて時刻ｔ５で終了する。３枚目の用紙に対するプリント処理は、時刻ｔ５で開始されて時刻ｔ６で終了する。

【0089】

この場合、画像形成部１４０が基本ハードウェア資源であり、その単位動作は１枚の原稿に画像を形成する動作である。画像形成部１４０が１枚目の用紙を処理する時刻ｔ２から時刻ｔ４までの期間と、２枚目の用紙を処理する時刻ｔ４から時刻ｔ５までの期間と、３枚目の用紙を処理する時刻ｔ５から時刻ｔ６までの期間は同じであり、単位期間である。

【0090】

したがって、図１０（Ｃ）を参照して、合成シーケンスは、時刻ｔ２から時刻ｔ４までの分割シーケンスと、時刻ｔ４から時刻ｔ５までの分割シーケンスと、時刻ｔ５から時刻ｔ６までの分割シーケンスと、に分割される。時刻ｔ２から時刻ｔ４までの分割シーケンスで動作するハードウェア資源は、自動原稿搬送装置１２０、原稿読取部１３０、画像形成部１４０および給紙部１５０である。時刻ｔ４から時刻ｔ５までの分割シーケンスで動作するハードウェア資源と、時刻ｔ５から時刻ｔ６までの分割シーケンスとで、それぞれ動作するハードウェア資源は、画像形成部１４０および給紙部１５０で同じである。したがって、時刻ｔ４から時刻ｔ５までの分割シーケンスと、時刻ｔ５から時刻ｔ６までの分割シーケンスとは、部分シーケンスである。さらに、２つの部分シーケンスのうち先の時刻ｔ４から時刻ｔ５までの分割シーケンスが基本シーケンスであり、基本シーケンスより後の時刻ｔ５から時刻ｔ６までの分割シーケンスが参照シーケンスである。

【0091】

時刻ｔ４から時刻ｔ５までの基本シーケンスの間にマイクロフォン１１７が出力する音データが基本データとしてＨＤＤ１１５に記憶される。また、時刻ｔ５から時刻ｔ６までの分割シーケンスでマイクロフォン１１７が出力する音データが、基本データ、換言すれば、時刻ｔ４から時刻ｔ５までの基本シーケンスの間にマイクロフォン１１７が出力する音データで補正される。

【0092】

このため、時刻ｔ５から時刻ｔ６までの分割シーケンスで、ユーザーが音声を発声する場合、時刻ｔ５から時刻ｔ６までの分割シーケンスの間にマイクロフォン１１７が出力する音データにユーザーの音声が含まれる。この場合に、時刻ｔ５から時刻ｔ６までの分割シーケンスでマイクロフォン１１７が出力する音データが、基本データで補正されるので、画像形成部１４０および給紙部１５０が発生する音をノイズとして除去することができる。その結果、ユーザーの音声を認識する精度を高くすることができる。

【0093】

図１１は、ジョブの内容を示す第２の図である。図１１を参照して、ジョブ種類の項目に、「プリント６頁」が設定されており、６つの画像を用紙に形成するプリント処理が定められたジョブであること示される。読み込みの項目に何も設定されていない。用紙の項目に「Ａ４ ６枚」が設定されており、Ａ４サイズの用紙の６枚に画像を形成するプリント処理が定められたジョブであることが示される。カラーの項目に「フルカラー」が設定されており、カラーで画像を形成するプリント処理を定めたジョブであることが示される。給紙口の項目に「トレイ１」が設定されており、上段のカセットに収納された用紙を搬送するプリント処理を定めたジョブであることが示される。印刷面の項目に「片面」が設定されており、用紙の片面に画像を形成するプリント処理を定めたジョブであることが示される。後処理の項目に何も設定されておらず、後処理が定められていないジョブであることが示される。

【0094】

図１２は、ジョブの内容を示す第３の図である。図１２を参照して、ジョブ種類の項目に、「Ｓｃａｎ８頁」が設定されており、８枚の原稿を読み取るスキャン処理が定められたジョブであること示される。読み込みの項目、用紙の項目、給紙口の項目および印刷面の項目には何も設定されていない。カラーの項目に「フルカラー」が設定されており、カラーで原稿を読み取る処理を定めたジョブであることが示される。後処理の項目に何も設定されておらず、後処理が定められていないジョブであることが示される。

【0095】

図１３は、動作シーケンスの一例を示す第２の図である。図１３に示す動作シーケンスは、図１１に示したプリント処理を定めるジョブを実行する間に図１２に示したスキャン処理を定めるジョブの実行が指示され、２つのジョブが並列で実行される場合の動作シーケンスを示す。図１３（Ａ）は、プリント処理の動作シーケンスの一例を示す図である。図１３（Ｂ）は、スキャン処理の動作シーケンスの一例を示す図である。図１３（Ｃ）は、合成シーケンスの一例を示す図である。

【0096】

図１３（Ａ）を参照して、時刻ｔ１においてジョブが開始されると、プリント処理が開始される。プリント処理において、ハードウェア資源として画像形成部１４０および給紙部１５０が動作する。１枚目の用紙に対するプリント処理は、時刻ｔ１で開始されて時刻ｔ２で終了する。２枚目の用紙に対するプリント処理は、時刻ｔ２で開始されて時刻ｔ３で終了する。３枚目の用紙に対するプリント処理は、時刻ｔ３で開始されて時刻ｔ４で終了する。４枚目の用紙に対するプリント処理は、時刻ｔ４で開始されて時刻ｔ６で終了する。５枚目の用紙に対するプリント処理は、時刻ｔ６で開始されて時刻ｔ７で終了する。６枚目の用紙に対するプリント処理は、時刻ｔ７で開始されて時刻ｔ８で終了する。

【0097】

図１３（Ｂ）を参照して、時刻ｔ５においてスキャン処理が開始され、時刻ｔ８で終了する。図１３（Ｃ）を参照して、合成シーケンスにおいて、画像形成部１４０が基本ハードウェア資源であり、その単位動作は１枚の原稿に画像を形成する動作である。画像形成部１４０が６枚の用紙それぞれにプリント処理を期間は同じであり、単位期間である。したがって、合成シーケンスは、時刻ｔ１から時刻ｔ２までの分割シーケンスと、時刻ｔ２から時刻ｔ３までの分割シーケンスと、時刻ｔ３から時刻ｔ４までの分割シーケンスと、時刻ｔ４から時刻ｔ６までの分割シーケンスと、時刻ｔ６から時刻ｔ７までの分割シーケンスと、時刻ｔ７から時刻ｔ８までの分割シーケンスと、に分割される。

【0098】

時刻ｔ１から時刻ｔ２までの分割シーケンス、時刻ｔ２から時刻ｔ３までの分割シーケンス、および時刻ｔ３から時刻ｔ４までの分割シーケンスそれぞれで動作するハードウェア資源は、画像形成部１４０および給紙部１５０で同じである。時刻ｔ６から時刻ｔ７までの分割シーケンス、および時刻ｔ７から時刻ｔ９までの分割シーケンスで、それぞれ動作するハードウェア資源は、自動原稿搬送装置１２０、原稿読取部１３０、画像形成部１４０および給紙部１５０で同じである。

【0099】

したがって、時刻ｔ１から時刻ｔ２までの分割シーケンス、時刻ｔ２から時刻ｔ３までの分割シーケンス、および時刻ｔ３から時刻ｔ４までの分割シーケンスそれぞれが第１分割部分シーケンスであり、時刻ｔ６から時刻ｔ７までの分割シーケンスおよび時刻ｔ７から時刻ｔ８までの分割シーケンスそれぞれが第２分割部分シーケンスである。

【0100】

さらに、３つの第１分割部分シーケンスのうち先の時刻ｔ１から時刻ｔ２までの第１分割部分シーケンスが第１基本シーケンスであり、第１基本シーケンスより後の時刻ｔ２から時刻ｔ３までの第１分割部分シーケンスおよび時刻ｔ３から時刻ｔ４までの第１分割部分シーケンスが第１参照シーケンスである。また、２つの第２分割部分シーケンスのうち先の時刻ｔ６から時刻ｔ７までの第２分割部分シーケンスが第２基本シーケンスであり、第２基本シーケンスより後の時刻ｔ７から時刻ｔ８までの第２分割部分シーケンスが第２参照シーケンスである。

【0101】

時刻ｔ１から時刻ｔ２までの第１基本シーケンスの間にマイクロフォン１１７が出力する音データが基本データとしてＨＤＤ１１５に記憶される。また、時刻ｔ２から時刻ｔ３までの第１分割部分シーケンスまたは時刻ｔ３から時刻ｔ４までの第１分割部分シーケンスでマイクロフォン１１７が出力する音データが、基本データ、換言すれば、時刻ｔ１から時刻ｔ２までの第１基本シーケンスの間にマイクロフォン１１７が出力する音データで補正される。このため、時刻ｔ２から時刻ｔ４までの２つの第１分割部分シーケンスで、ユーザーが音声を発声する場合、時刻ｔ２から時刻ｔ４までの２つの第１分割部分シーケンスの間にマイクロフォン１１７が出力する音データにユーザーの音声が含まれる。この場合に、時刻ｔ２から時刻ｔ４までの２つの第１分割部分シーケンスでマイクロフォン１１７が出力する音データが、基本データで補正されるので、画像形成部１４０および給紙部１５０が発生する音をノイズとして除去することができる。その結果、ユーザーの音声を認識する精度を高くすることができる。同様に、時刻ｔ６から時刻ｔ７までの第２基本シーケンスの間にマイクロフォン１１７が出力する音データが基本データとしてＨＤＤ１１５に記憶される。また、時刻ｔ７から時刻ｔ８までの第２分割部分シーケンスでマイクロフォン１１７が出力する音データが、基本データ、換言すれば、時刻ｔ６から時刻ｔ７までの第２基本シーケンスの間にマイクロフォン１１７が出力する音データで補正される。このため、時刻ｔ７から時刻ｔ８までの第２分割部分シーケンスで、ユーザーが音声を発声する場合、時刻ｔ７から時刻ｔ８までの２つの第２分割部分シーケンスの間にマイクロフォン１１７が出力する音データにユーザーの音声が含まれる。この場合に、時刻ｔ７から時刻ｔ８までの第２分割部分シーケンスでマイクロフォン１１７が出力する音データが、基本データで補正されるので、自動原稿搬送装置１２０、原稿読取部１３０、画像形成部１４０および給紙部１５０が発生する音をノイズとして除去することができる。その結果、ユーザーの音声を認識する精度を高くすることができる。

【0102】

図１４は、ジョブの内容を示す第３の図である。図１４を参照して、ジョブ種類の項目は、「プリント３頁」が設定されており、３つの画像を形成するプリント処理が定められたジョブであること示される。読み込みの項目、用紙の項目、カラーの項目、給紙口の項目、印刷面の項目は、図１１に示したジョブの内容と同じである。後処理の項目に「ステープル」が設定されており、後処理としてステープル加工処理を定めたジョブであることが示される。このため、３つの画像がそれぞれ形成された３枚の用紙がステープル加工処理され、３枚の用紙がステープル加工された束が２つ生成されることが示される。

【0103】

図１５は、動作シーケンスの一例を示す第３の図である。図１５に示す動作シーケンスは、図１４に示したプリント処理および後処理を定めるジョブが実行される場合の動作シーケンスを示す。図１５（Ａ）は、プリント処理の動作シーケンスの一例を示す図である。図１５（Ｂ）は、後処理の動作シーケンスの一例を示す図である。図１５（Ｃ）は、合成シーケンスの一例を示す図である。

【0104】

図１５（Ａ）を参照して、時刻ｔ１においてジョブが開始されると、プリント処理が開始される。プリント処理において、ハードウェア資源として画像形成部１４０および給紙部１５０が動作する。第１ページの画像を１枚目の用紙に形成するプリント処理は時刻ｔ１で開始されて時刻ｔ２で終了する。第２ページの画像を２枚目の用紙に形成するプリント処理は時刻ｔ２で開始されて時刻ｔ３で終了する。第３ページの画像を３枚目の用紙に形成するプリント処理は、時刻ｔ３で開始されて時刻ｔ５で終了する。第１ページの画像を４枚目の用紙に形成するプリント処理は時刻ｔ５で開始されて時刻ｔ６で終了する。第２ページの画像を５枚目の用紙に形成するプリント処理は時刻ｔ６で開始されて時刻ｔ７で終了する。第３ページの画像を６枚目の用紙に形成するプリント処理は、時刻ｔ７で開始されて時刻ｔ９で終了する。

【0105】

図１５（Ｂ）を参照して、１枚目～３枚目の用紙の束に対するステープル加工処理は時刻ｔ４で開始されて時刻ｔ５で終了する。４枚目～６枚目の用紙の束に対するステープル加工処理は時刻ｔ８で開始されて時刻ｔ９で終了する。

【0106】

図１５（Ｃ）を参照して、合成シーケンスにおいて、画像形成部１４０が基本ハードウェア資源であり、その単位動作は１枚の原稿に画像を形成する動作である。画像形成部１４０が６枚の用紙それぞれにプリント処理を期間は同じであり、単位期間である。したがって、合成シーケンスは、時刻ｔ１から時刻ｔ２までの分割シーケンスと、時刻ｔ２から時刻ｔ３までの分割シーケンスと、時刻ｔ３から時刻ｔ５までの分割シーケンスと、時刻ｔ５から時刻ｔ６までの分割シーケンスと、時刻ｔ６から時刻ｔ７までの分割シーケンスと、時刻ｔ７から時刻ｔ９までの分割シーケンスと、に分割される。

【0107】

時刻ｔ１から時刻ｔ２までの分割シーケンス、時刻ｔ２から時刻ｔ３までの分割シーケンス、時刻ｔ５から時刻ｔ６までの分割シーケンス、および時刻ｔ６から時刻ｔ７までの分割シーケンスでそれぞれ動作するハードウェア資源は、画像形成部１４０および給紙部１５０で同じである。また、時刻ｔ３から時刻ｔ５までの分割シーケンスおよび時刻ｔ７から時刻ｔ９までの分割シーケンスでそれぞれ動作するハードウェア資源は、画像形成部１４０、給紙部１５０および後処理部１５５で同じである。

【0108】

したがって、時刻ｔ１から時刻ｔ２までの分割シーケンス、時刻ｔ２から時刻ｔ３までの分割シーケンス、時刻ｔ５から時刻ｔ６までの分割シーケンス、および時刻ｔ６から時刻ｔ７までの分割シーケンスそれぞれが第１分割部分シーケンスであり、時刻ｔ３から時刻ｔ５までの分割シーケンスおよび時刻ｔ７から時刻ｔ９までの分割シーケンスそれぞれが第２分割部分シーケンスである。

【0109】

さらに、４つの第１分割部分シーケンスのうち最先の時刻ｔ１から時刻ｔ２までの第１分割部分シーケンスが第１基本シーケンスであり、第１基本シーケンスより後の時刻ｔ２から時刻ｔ３までの第１分割部分シーケンス、時刻ｔ５から時刻ｔ６までの第１分割部分シーケンスおよび時刻ｔ６から時刻ｔ７までの第１分割部分シーケンスが第１参照シーケンスである。また、２つの第２分割部分シーケンスのうち最先の時刻ｔ３から時刻ｔ５までの第２分割部分シーケンスが第２基本シーケンスであり、第２基本シーケンスより後の時刻ｔ７から時刻ｔ９までの第２分割部分シーケンスが第２参照シーケンスである。

【0110】

時刻ｔ１から時刻ｔ２までの第１基本シーケンスの間にマイクロフォン１１７が出力する音データが基本データとしてＨＤＤ１１５に記憶される。また、時刻ｔ２から時刻ｔ３までの第１分割部分シーケンス、時刻ｔ５から時刻ｔ６までの第１分割部分シーケンスおよび時刻ｔ６から時刻ｔ７までの第１分割部分シーケンスでマイクロフォン１１７が出力する音データが、基本データ、換言すれば、時刻ｔ１から時刻ｔ２までの第１基本シーケンスの間にマイクロフォン１１７が出力する音データで補正される。このため、時刻ｔ２から時刻ｔ３までの第１分割部分シーケンス、時刻ｔ５から時刻ｔ６までの第１分割部分シーケンスおよび時刻ｔ６から時刻ｔ７までの第１分割部分シーケンスでマイクロフォン１１７が出力する音データが、基本データで補正されるので、画像形成部１４０および給紙部１５０が発生する音をノイズとして除去することができる。その結果、ユーザーの音声を認識する精度を高くすることができる。同様に、時刻ｔ３から時刻ｔ５までの第２基本シーケンスの間にマイクロフォン１１７が出力する音データが基本データとしてＨＤＤ１１５に記憶される。また、時刻ｔ７から時刻ｔ９までの第２分割部分シーケンスでマイクロフォン１１７が出力する音データが、基本データ、換言すれば、時刻ｔ３から時刻ｔ５までの第２基本シーケンスの間にマイクロフォン１１７が出力する音データで補正される。このため、時刻ｔ７から時刻ｔ９までの第２分割部分シーケンスでマイクロフォン１１７が出力する音データが、基本データで補正されるので、画像形成部１４０、給紙部１５０および後処理部１５５が発生する音をノイズとして除去することができる。その結果、ユーザーの音声を認識する精度を高くすることができる。

【0111】

図１６は、動作シーケンスの一例を示す第４の図である。図１６に示す動作シーケンスは、図１１に示した内容のジョブを実行する間のプリントの動作シーケンスを示す。ただし、３枚目の用紙に画像を形成した段階で上段の給紙カセットの残量がゼロになり、代替カセットとして中段の給紙カセットから用紙が供給される場合を示している。このため、１枚目から３枚目の用紙に画像を形成するプリント処理の単位時間は、４枚目から６枚目の用紙に画像を形成するプリント処理の単位時間より短い。したがって、動作シーケンスは、１枚目の用紙に対するプリント処理である時刻ｔ１から時刻ｔ２までの分割シーケンス、２枚目の用紙に対するプリント処理である時刻ｔ２から時刻ｔ３までの分割シーケンス、３枚目の用紙に対するプリント処理である時刻ｔ３から時刻ｔ４までの分割シーケンス、４枚目の用紙に対するプリント処理である時刻ｔ４から時刻ｔ５までの分割シーケンス、５枚目の用紙に対するプリント処理である時刻ｔ５から時刻ｔ６までの分割シーケンス、６枚目の用紙に対するプリント処理である時刻ｔ６から時刻ｔ７までの分割シーケンス、に分割される。

【0112】

時刻ｔ１から時刻ｔ２までの分割シーケンス、時刻ｔ２から時刻ｔ３までの分割シーケンス、および時刻ｔ３から時刻ｔ４までの分割シーケンスそれぞれで動作するハードウェア資源は、画像形成部１４０および給紙部１５０の上段給紙カセットで同じである。時刻ｔ４から時刻ｔ５までの分割シーケンス、時刻ｔ５から時刻ｔ６までの分割シーケンス、および時刻ｔ６から時刻ｔ７までの分割シーケンスで、それぞれ動作するハードウェア資源は、画像形成部１４０および給紙部１５０の中段給紙カセットで同じである。

【0113】

したがって、時刻ｔ１から時刻ｔ２までの分割シーケンス、時刻ｔ２から時刻ｔ３までの分割シーケンス、および時刻ｔ３から時刻ｔ４までの分割シーケンスそれぞれが第１分割部分シーケンスであり、時刻ｔ４から時刻ｔ５までの分割シーケンス、時刻ｔ５から時刻ｔ６までの分割シーケンス、および時刻ｔ６から時刻ｔ７までの分割シーケンスそれぞれが第２分割部分シーケンスである。

【0114】

さらに、３つの第１分割部分シーケンスのうち先の時刻ｔ１から時刻ｔ２までの第１分割部分シーケンスが第１基本シーケンスであり、第１基本シーケンスより後の時刻ｔ２から時刻ｔ３までの第１分割部分シーケンスおよび時刻ｔ３から時刻ｔ４までの第１分割部分シーケンスが第１参照シーケンスである。また、３つの第２分割部分シーケンスのうち先の時刻ｔ４から時刻ｔ５までの第２分割部分シーケンスが第２基本シーケンスであり、第２基本シーケンスより後の時刻ｔ５から時刻ｔ６までの第２分割部分シーケンスおよび時刻ｔ６から時刻ｔ７までの第２分割部分シーケンスが第２参照シーケンスである。

【0115】

時刻ｔ１から時刻ｔ２までの第１基本シーケンスの間にマイクロフォン１１７が出力する音データが基本データとしてＨＤＤ１１５に記憶される。また、時刻ｔ２から時刻ｔ３までの第１分割部分シーケンス、時刻ｔ３から時刻ｔ４までの第１分割部分シーケンスでマイクロフォン１１７が出力する音データが、基本データ、換言すれば、時刻ｔ１から時刻ｔ２までの第１基本シーケンスの間にマイクロフォン１１７が出力する音データで補正される。このため、時刻ｔ２から時刻ｔ３までの分割シーケンス、時刻ｔ３から時刻ｔ４までの第１分割部分シーケンスでマイクロフォン１１７が出力する音データが、基本データで補正されるので、画像形成部１４０および給紙部１５０が発生する音をノイズとして除去することができる。その結果、ユーザーの音声を認識する精度を高くすることができる。同様に、時刻ｔ４から時刻ｔ５までの第２基本シーケンスの間にマイクロフォン１１７が出力する音データが基本データとしてＨＤＤ１１５に記憶される。また、時刻ｔ５から時刻ｔ６までの第２分割部分シーケンス、時刻ｔ６から時刻ｔ７までの第２分割部分シーケンスでマイクロフォン１１７が出力する音データが、基本データ、換言すれば、時刻ｔ４から時刻ｔ５までの第２基本シーケンスの間にマイクロフォン１１７が出力する音データで補正される。このため、時刻ｔ５から時刻ｔ６までの第２分割部分シーケンス、時刻ｔ６から時刻ｔ７までの第２分割部分シーケンスでマイクロフォン１１７が出力する音データが、基本データで補正されるので、画像形成部１４０および給紙部１５０が発生する音をノイズとして除去することができる。その結果、ユーザーの音声を認識する精度を高くすることができる。

【0116】

以上説明したように、本実施の形態におけるＭＦＰ１００は、ＭＦＰ１００に投入されたジョブに基づいて、動作シーケンスを決定し、動作シーケンスが所定期間に動作する１以上のハードウェア資源が同一の複数の部分シーケンスを含む場合、基本シーケンスの間に収集される音に基づいて、複数の部分シーケンスのうち基本シーケンスよりも後の参照シーケンスの間に収集される音を補正し、補正された音に基づいて音声を認識する。このため、１以上のハードウェア資源で発生する音を除去した後の音から音声を認識するので、音声を認識する精度を高めることができる。また、ＭＦＰ１００は、動作する１以上のハードウェア資源が同じ動作を繰り返し連続する場合に、最初の動作の期間に発生する音で、後の動作の期間に発生する音を補正するので、ハードウェア資源が発生する音が経時的に変化する場合であっても、ハードウェア資源が発生する音を、収音された音から除去することができる。

【0117】

また、ＭＦＰ１００は、複数のハードウェア資源のうち単位動作を繰り返す基本ハードウェア資源が単位動作を実行する単位期間で動作シーケンスを分割した複数の分割シーケンスを決定し、複数の分割シーケンスが単位期間で動作する１以上のハードウェア資源が同一の複数の分割部分シーケンスを部分シーケンスに決定する。このため、部分シーケンスを容易に決定することができる。

【0118】

また、ＭＦＰ１００は、複数の分割部分シーケンスが複数の第１分割部分シーケンスと複数の第２分割部分シーケンスとを含み、第１分割部分シーケンスと第２分割部分シーケンスとで動作するハードウェア資源が異なる場合、複数の第１分割部分シーケンスのうち第１基本シーケンスの間に収集される音に基づいて、複数の第１分割部分シーケンスのうち第１基本シーケンスよりも後の第１参照シーケンスの間に収集される音を補正し、複数の第２分割部分シーケンスのうち第２基本シーケンスの間に収集される音に基づいて、複数の第２分割部分シーケンスのうち第２基本シーケンスよりも後の第２参照シーケンスの間に収集される音を補正する。このため、動作シーケンスが、動作する１以上のハードウェア資源が異なる第１分割部分シーケンスと第２分割部分シーケンスを含む場合であっても、音を補正することができる。

【0119】

なお、上述した実施の形態においては、ＭＦＰ１００が音声認識装置として機能する場合を例に説明したが、図３に示した機能のうち音取得部５１、補正部５３、音声認識部５５、動作シーケンス決定部６５を、ＭＦＰ１００と別体の音声認識装置に実行させるようにしてもよい。この場合における音声認識装置は、たとえば、コンピューターを用いることができる。音声認識装置として機能するコンピューターは、画像形成装置として機能するＭＦＰ１００と通信することにより、ＭＦＰ１００に投入されたジョブと、ＭＦＰ１００の動作の状態と、をＭＦＰ１００から取得する。

【0120】

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

【符号の説明】

【0121】

１００ ＭＦＰ、１１０ メイン回路、１１１ ＣＰＵ、１１２ 通信Ｉ／Ｆ部、１１５ ＨＤＤ、１１６ ファクシミリ部、１１７ マイクロフォン、１１８ 外部記憶装置、１２０ 自動原稿搬送装置、１３０ 原稿読取部、１４０ 画像形成部、１５０ 給紙部、１５５ 後処理部、１６０ 操作パネル、１６１ 表示部、１６３ 操作部、５１ 音取得部、５３ 補正部、５５ 音声認識部、５７ 操作決定部、５９ 操作受付部、６１ ジョブ生成部、６３ 処理実行部、６５ 動作シーケンス決定部、７１ 分割部、７３ 合成シーケンス決定部、７５ 変更対応部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】