特許 7585746 プリンタ異常予兆検知システム、プリンタ異常予兆検知方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-11

(45)【発行日】2024-11-19

(54)【発明の名称】プリンタ異常予兆検知システム、プリンタ異常予兆検知方法及びプログラム

(51)【国際特許分類】

   G10L 25/51 20130101AFI20241112BHJP

   B41J 29/38 20060101ALI20241112BHJP

【ＦＩ】

G10L25/51

B41J29/38 301

【請求項の数】 8

(21)【出願番号】P 2020198772

(22)【出願日】2020-11-30

(65)【公開番号】P2022086643

(43)【公開日】2022-06-09

【審査請求日】2023-11-01

(73)【特許権者】

【識別番号】000003193

【氏名又は名称】ＴＯＰＰＡＮホールディングス株式会社

(74)【代理人】

【識別番号】100149548

【弁理士】

【氏名又は名称】松沼 泰史

(74)【代理人】

【識別番号】100139686

【弁理士】

【氏名又は名称】鈴木 史朗

(74)【代理人】

【識別番号】100169764

【弁理士】

【氏名又は名称】清水 雄一郎

(74)【代理人】

【識別番号】100147267

【弁理士】

【氏名又は名称】大槻 真紀子

(72)【発明者】

【氏名】張 茹

(72)【発明者】

【氏名】森 知佳子

【審査官】中村 天真

(56)【参考文献】

【文献】特開２０１７－２０８８０３（ＪＰ，Ａ）

【文献】国際公開第２０１８／０９６５８２（ＷＯ，Ａ１）

【文献】特開２０２０－１０６７７３（ＪＰ，Ａ）

【文献】特開２０１７－１２０６２２（ＪＰ，Ａ）

【文献】特開２０１５－１７５７７０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ１０Ｌ ２５／００－２５／９３

Ｂ４１Ｊ ２９／００－２９／７０

Ｇ０１Ｈ １／００－１７／００

Ｇ０１Ｍ １３／００－１３／０４５

９９／００

Ｇ０３Ｇ １３／３４

１５／００

１５／３６

２１／００

２１／０２

２１／１４

２１／２０

Ｈ０４Ｎ １／００

(57)【特許請求の範囲】

【請求項1】

プリンタの印刷フェーズの各々の異常をそれぞれ判別して検知するプリンタ異常予兆検知システムであり、
前記プリンタの音響信号を取得する音響信号取得部と、
前記音響信号を印刷フェーズの各々に対応した印刷フェーズ音響信号に分離する音響信号分離部と、
前記印刷フェーズ音響信号の複数の周波数毎のスペクトル強度を時系列に抽出し、前記周波数の各々と、当該周波数のスペクトル強度と、時間とからなる３次元時系列データを生成する信号処理部と、
前記３次元時系列データにより、前記印刷フェーズの各々の異常それぞれを検知する異常検知部と
を備え、
前記印刷フェーズが印刷媒体の搬送を行う搬送過程、インキの印字を行う印字過程及び前記印刷媒体の搬出を行う搬出過程を含み、
前記音響信号分離部が前記音響信号の強度により、前記搬送過程が開始されたことを検出し、当該搬送過程の開始に対応して印刷フェーズ音響信号として搬送領域音響信号を抽出した後、順次、前記印字過程の前記印刷フェーズ音響信号として印字領域音響信号、及び前記搬出過程の前記印刷フェーズ音響信号として搬出領域音響信号の各々を分離し、
前記搬送領域音響信号、前記印字領域音響信号及び前記搬出領域音響信号の各々が、前記搬送、前記印字、前記搬出のそれぞれの動作における音響の情報が全て含まれる時間範囲において前記印刷フェーズ音響信号として分離されている
ことを特徴とするプリンタ異常予兆検知システム。

【請求項2】

プリンタの印刷フェーズの各々の異常をそれぞれ判別して検知するプリンタ異常予兆検知システムであり、
前記プリンタの音響信号を取得する音響信号取得部と、
前記音響信号を印刷フェーズの各々に対応した印刷フェーズ音響信号に分離する音響信号分離部と、
前記印刷フェーズ音響信号の複数の周波数毎のスペクトル強度を時系列に抽出し、前記周波数の各々と、当該周波数のスペクトル強度と、時間とからなる３次元時系列データを生成する信号処理部と、
前記３次元時系列データにより、前記印刷フェーズの各々の異常それぞれを検知する異常検知部と
を備え、
前記印刷フェーズが印刷媒体の搬送を行う搬送過程、インキの印字を行う印字過程及び前記印刷媒体の搬出を行う搬出過程を含み、
前記音響信号分離部が前記音響信号の強度により、前記搬送過程が開始されたことを検出し、当該搬送過程の開始に対応して印刷フェーズ音響信号として搬送領域音響信号を抽出した後、順次、前記印字過程の前記印刷フェーズ音響信号として印字領域音響信号、及び前記搬出過程の前記印刷フェーズ音響信号として搬出領域音響信号の各々を分離し、
前記搬送領域音響信号、前記印字領域音響信号及び前記搬出領域音響信号の各々が、時系列に隣接した他の印刷フェーズ音響信号が所定の時間範囲で重なるように抽出されている
ことを特徴とするプリンタ異常予兆検知システム。

【請求項3】

前記３次元時系列データがスペクトログラムである
ことを特徴とする請求項１または請求項２に記載のプリンタ異常予兆検知システム。

【請求項4】

前記異常検知部が、機械学習モデルを備え、
当該機械学習モデルが前記印刷フェーズ音響信号の前記３次元時系列データを入力とし、前記印刷フェーズの各々の異常の程度を示す異常情報を出力する
ことを特徴とする請求項１から請求項３のいずれか一項に記載のプリンタ異常予兆検知システム。

【請求項5】

プリンタの印刷フェーズの各々の異常をそれぞれ判別して検知するプリンタ異常予兆検知方法であり、
音響信号取得部が、前記プリンタの音響信号を取得する音響信号取得過程と、
音響信号分離部が、前記音響信号を印刷フェーズの各々に対応した印刷フェーズ音響信号に分離する音響信号分離過程と、
信号処理部が、前記印刷フェーズ音響信号の複数の周波数毎のスペクトル強度を時系列に抽出する信号処理過程と、
前記信号処理部が、前記周波数の各々と、当該周波数のスペクトル強度と、時間とからなる３次元時系列データを生成する３次元時系列データ生成過程と、
異常検知部が、前記３次元時系列データにより、前記印刷フェーズの各々の異常それぞれを検知する異常検知過程と
を含み、
前記印刷フェーズが印刷媒体の搬送を行う搬送過程、インキの印字を行う印字過程及び前記印刷媒体の搬出を行う搬出過程を含み、
前記音響信号分離部が前記音響信号の強度により、前記搬送過程が開始されたことを検出し、当該搬送過程の開始に対応して印刷フェーズ音響信号として搬送領域音響信号を抽出した後、順次、前記印字過程の前記印刷フェーズ音響信号として印字領域音響信号、及び前記搬出過程の前記印刷フェーズ音響信号として搬出領域音響信号の各々を分離し、
前記搬送領域音響信号、前記印字領域音響信号及び前記搬出領域音響信号の各々が、前記搬送、前記印字、前記搬出のそれぞれの動作における音響の情報が全て含まれる時間範囲において前記印刷フェーズ音響信号として分離されている
ことを特徴とするプリンタ異常予兆検知方法。

【請求項6】

プリンタの印刷フェーズの各々の異常をそれぞれ判別して検知するプリンタ異常予兆検知方法であり、
音響信号取得部が、前記プリンタの音響信号を取得する音響信号取得過程と、
音響信号分離部が、前記音響信号を印刷フェーズの各々に対応した印刷フェーズ音響信号に分離する音響信号分離過程と、
信号処理部が、前記印刷フェーズ音響信号の複数の周波数毎のスペクトル強度を時系列に抽出する信号処理過程と、
前記信号処理部が、前記周波数の各々と、当該周波数のスペクトル強度と、時間とからなる３次元時系列データを生成する３次元時系列データ生成過程と、
異常検知部が、前記３次元時系列データにより、前記印刷フェーズの各々の異常それぞれを検知する異常検知過程と
を含み、
前記印刷フェーズが印刷媒体の搬送を行う搬送過程、インキの印字を行う印字過程及び前記印刷媒体の搬出を行う搬出過程を含み、
前記音響信号分離部が前記音響信号の強度により、前記搬送過程が開始されたことを検出し、当該搬送過程の開始に対応して印刷フェーズ音響信号として搬送領域音響信号を抽出した後、順次、前記印字過程の前記印刷フェーズ音響信号として印字領域音響信号、及び前記搬出過程の前記印刷フェーズ音響信号として搬出領域音響信号の各々を分離し、
前記搬送領域音響信号、前記印字領域音響信号及び前記搬出領域音響信号の各々が、時系列に隣接した他の印刷フェーズ音響信号が所定の時間範囲で重なるように抽出されている
ことを特徴とするプリンタ異常予兆検知方法。

【請求項7】

プリンタの印刷フェーズの各々の異常をそれぞれ判別して検知するプリンタ異常予兆検知システムとしてコンピュータを機能させるプログラムであり、
前記コンピュータを、
前記プリンタの音響信号を取得する音響信号取得手段、
前記音響信号を印刷フェーズの各々に対応した印刷フェーズ音響信号に分離する音響信号分離手段、
前記印刷フェーズ音響信号の複数の周波数毎のスペクトル強度を時系列に抽出し、前記周波数の各々と、当該周波数のスペクトル強度と、時間とからなる３次元時系列データを生成する信号処理手段、
前記３次元時系列データにより、前記印刷フェーズの各々の異常それぞれを検知する異常検知手段
として機能させ、
前記印刷フェーズが印刷媒体の搬送を行う搬送過程、インキの印字を行う印字過程及び前記印刷媒体の搬出を行う搬出過程を含み、
前記音響信号分離手段が前記音響信号の強度により、前記搬送過程が開始されたことを検出し、当該搬送過程の開始に対応して印刷フェーズ音響信号として搬送領域音響信号を抽出した後、順次、前記印字過程の前記印刷フェーズ音響信号として印字領域音響信号、及び前記搬出過程の前記印刷フェーズ音響信号として搬出領域音響信号の各々を分離し、
前記搬送領域音響信号、前記印字領域音響信号及び前記搬出領域音響信号の各々が、前記搬送、前記印字、前記搬出のそれぞれの動作における音響の情報が全て含まれる時間範囲において前記印刷フェーズ音響信号として分離されている
プログラム。

【請求項8】

プリンタの印刷フェーズの各々の異常をそれぞれ判別して検知するプリンタ異常予兆検知システムとしてコンピュータを機能させるプログラムであり、
前記コンピュータを、
前記プリンタの音響信号を取得する音響信号取得手段、
前記音響信号を印刷フェーズの各々に対応した印刷フェーズ音響信号に分離する音響信号分離手段、
前記印刷フェーズ音響信号の複数の周波数毎のスペクトル強度を時系列に抽出し、前記周波数の各々と、当該周波数のスペクトル強度と、時間とからなる３次元時系列データを生成する信号処理手段、
前記３次元時系列データにより、前記印刷フェーズの各々の異常それぞれを検知する異常検知手段
として機能させ、
前記印刷フェーズが印刷媒体の搬送を行う搬送過程、インキの印字を行う印字過程及び前記印刷媒体の搬出を行う搬出過程を含み、
前記音響信号分離手段が前記音響信号の強度により、前記搬送過程が開始されたことを検出し、当該搬送過程の開始に対応して印刷フェーズ音響信号として搬送領域音響信号を抽出した後、順次、前記印字過程の前記印刷フェーズ音響信号として印字領域音響信号、及び前記搬出過程の前記印刷フェーズ音響信号として搬出領域音響信号の各々を分離し、
前記搬送領域音響信号、前記印字領域音響信号及び前記搬出領域音響信号の各々が、時系列に隣接した他の印刷フェーズ音響信号が所定の時間範囲で重なるように抽出されている
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、プリンタの故障を検出するプリンタ異常予兆検知システム、プリンタ異常予兆検知方法及びプログラムに関する。

【背景技術】

【0002】

プリンタ出荷後においてプリンタの搭載部品に不良が見つかった場合、プリンタを回収して、部品不良が検出された場合には部品交換などを行う必要がある。
しかし、使用されているプリンタが修理のために回収されてしまうことは、ユーザにとって不便である。
このため、故障が発生する予兆を検知する故障検知プログラムをプリンタにインストールして、定期的に故障の予兆の診断を行うことが考えられる。

【0003】

一方、音響信号を音響センサにより取得し、周波数毎に、時間と当該周波数のスペクトル強度とからなる２次元の時系列データを生成して、ガスタービンの異常を検知する装置がある（例えば、特許文献１）。
そして、特定の周波数のスペクトル強度と、予め設定された閾値とを比較して、閾値をスペクトル強度が超えるか否かにより、以上の有無判定を行っている。
特許文献１の検知方法を用いることで、プリンタが印刷時に発生する音響信号のスペクトル強度を、閾値と比較することにより、プリンタの故障の検知を行うことができる。

【先行技術文献】

【特許文献】

【0004】

【文献】特開平０８－１７７５３０号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、プリンタのように印刷媒体（紙やカードなど）の搬送、色（ＣＭＹＫの色成分）の転写及び排出などの複数の機構が組み合わせて形成されている装置の故障を検知する場合、プリンタが故障したか否かした判定できないため、故障判定の精度が低い。
すなわち、異常の検知に用いているデータは２次元の時系列データであるため、搬送、転写及び排出の各々の故障の際に発生する音響信号が各々異なるため、いずれの機構が故障したかを判別することができない。

【0006】

また、一定時間の範囲の時系列データにおける音響信号の検知であるため、いつ動作するかも分からない状態で、プリンタにおける複数の機構の各々の動作における音響信号を検知範囲として含めることが困難である。
さらに、もともと音響信号のスペクトル強度が大きいため、閾値を固定できるガスタービンと異なり、使用する環境（プリンタの筐体の振動特性の変化などにより）において発生する音響信号のスペクトル強度も異なる。
このため、特許文献１のように閾値を固定するのではなく、環境に対応して取得した音響信号と比較する閾値も調整する必要がある。

【0007】

また、特許文献１の手法においては、取得した時系列データの音響信号におけるスペクトル強度が閾値より高いか否かの判定しか行っていない。
このため、そのスペクトル強度の高い領域の前後の情報を使用した判定をその時系列データの前後の時間領域における音響信号のスペクトル強度の情報を解析することができない。
また、プリンタの異常の原因が不明の場合、そもそも音響信号におけるいずれの周波数を検知対象とすれば良いか、検知対象の周波数のスペクトル強度に対する閾値をどの程度の大きさに設定すればよいかがわからない。

【0008】

本発明は、このような状況に鑑みてなされたもので、プリンタの搬送、転写及び搬出の各々の異常を、印刷の動作が開始された後において、それぞれの機構の動作により発生する音響信号により、プリンタが置かれている環境によらずに、異常（あるいは故障）の原因が不明であっても、それぞれの機構のいずれが異常となっているか、あるいは異常（あるいは故障）となる可能性があるかの予兆の検知を行うプリンタ異常予兆検知システム、プリンタ異常予兆検知方法及びプログラムを提供する。

【課題を解決するための手段】

【0009】

上述した課題を解決するために、本発明のプリンタ異常予兆検知システムは、プリンタの印刷フェーズの各々の異常をそれぞれ判別して検知するプリンタ異常予兆検知システムであり、前記プリンタの音響信号を取得する音響信号取得部と、前記音響信号を印刷フェーズの各々に対応した印刷フェーズ音響信号に分離する音響信号分離部と、前記印刷フェーズ音響信号の複数の周波数毎のスペクトル強度を時系列に抽出し、前記周波数の各々と、当該周波数のスペクトル強度と、時間とからなる３次元時系列データを生成する信号処理部と、前記３次元時系列データにより、前記印刷フェーズの各々の異常それぞれを検知する異常検知部とを備え、前記印刷フェーズが印刷媒体の搬送を行う搬送過程、インキの印字を行う印字過程及び前記印刷媒体の搬出を行う搬出過程を含み、前記音響信号分離部が前記音響信号の強度により、前記搬送過程が開始されたことを検出し、当該搬送過程の開始に対応して印刷フェーズ音響信号として搬送領域音響信号を抽出した後、順次、前記印字過程の前記印刷フェーズ音響信号として印字領域音響信号、及び前記搬出過程の前記印刷フェーズ音響信号として搬出領域音響信号の各々を分離し、前記搬送領域音響信号、前記印字領域音響信号及び前記搬出領域音響信号の各々が、前記搬送、前記印字、前記搬出のそれぞれの動作における音響の情報が全て含まれる時間範囲において前記印刷フェーズ音響信号として分離されていることを特徴とする。

【0010】

本発明のプリンタ異常予兆検知システムは、プリンタの印刷フェーズの各々の異常をそれぞれ判別して検知するプリンタ異常予兆検知システムであり、前記プリンタの音響信号を取得する音響信号取得部と、前記音響信号を印刷フェーズの各々に対応した印刷フェーズ音響信号に分離する音響信号分離部と、前記印刷フェーズ音響信号の複数の周波数毎のスペクトル強度を時系列に抽出し、前記周波数の各々と、当該周波数のスペクトル強度と、時間とからなる３次元時系列データを生成する信号処理部と、前記３次元時系列データにより、前記印刷フェーズの各々の異常それぞれを検知する異常検知部とを備え、前記印刷フェーズが印刷媒体の搬送を行う搬送過程、インキの印字を行う印字過程及び前記印刷媒体の搬出を行う搬出過程を含み、前記音響信号分離部が前記音響信号の強度により、前記搬送過程が開始されたことを検出し、当該搬送過程の開始に対応して印刷フェーズ音響信号として搬送領域音響信号を抽出した後、順次、前記印字過程の前記印刷フェーズ音響信号として印字領域音響信号、及び前記搬出過程の前記印刷フェーズ音響信号として搬出領域音響信号の各々を分離し、前記搬送領域音響信号、前記印字領域音響信号及び前記搬出領域音響信号の各々が、時系列に隣接した他の印刷フェーズ音響信号が所定の時間範囲で重なるように抽出されていることを特徴とする。

【0011】

本発明のプリンタ異常予兆検知システムは、前記３次元時系列データがスペクトログラムであることを特徴とする。

【0012】

本発明のプリンタ異常予兆検知システムは、前記異常検知部が、機械学習モデルを備え、当該機械学習モデルが前記印刷フェーズ音響信号の前記３次元時系列データを入力とし、前記印刷フェーズの各々の異常の程度を示す異常情報を出力することを特徴とする。

【0013】

本発明のプリンタ異常予兆検知方法は、プリンタの印刷フェーズの各々の異常をそれぞれ判別して検知するプリンタ異常予兆検知方法であり、音響信号取得部が、前記プリンタの音響信号を取得する音響信号取得過程と、音響信号分離部が、前記音響信号を印刷フェーズの各々に対応した印刷フェーズ音響信号に分離する音響信号分離過程と、信号処理部が、前記印刷フェーズ音響信号の複数の周波数毎のスペクトル強度を時系列に抽出する信号処理過程と、前記信号処理部が、前記周波数の各々と、当該周波数のスペクトル強度と、時間とからなる３次元時系列データを生成する３次元時系列データ生成過程と、異常検知部が、前記３次元時系列データにより、前記印刷フェーズの各々の異常それぞれを検知する異常検知過程とを含み、前記印刷フェーズが印刷媒体の搬送を行う搬送過程、インキの印字を行う印字過程及び前記印刷媒体の搬出を行う搬出過程を含み、前記音響信号分離部が前記音響信号の強度により、前記搬送過程が開始されたことを検出し、当該搬送過程の開始に対応して印刷フェーズ音響信号として搬送領域音響信号を抽出した後、順次、前記印字過程の前記印刷フェーズ音響信号として印字領域音響信号、及び前記搬出過程の前記印刷フェーズ音響信号として搬出領域音響信号の各々を分離し、前記搬送領域音響信号、前記印字領域音響信号及び前記搬出領域音響信号の各々が、前記搬送、前記印字、前記搬出のそれぞれの動作における音響の情報が全て含まれる時間範囲において前記印刷フェーズ音響信号として分離されていることを特徴とする。

【0014】

本発明のプリンタ異常予兆検知方法は、プリンタの印刷フェーズの各々の異常をそれぞれ判別して検知するプリンタ異常予兆検知方法であり、音響信号取得部が、前記プリンタの音響信号を取得する音響信号取得過程と、音響信号分離部が、前記音響信号を印刷フェーズの各々に対応した印刷フェーズ音響信号に分離する音響信号分離過程と、信号処理部が、前記印刷フェーズ音響信号の複数の周波数毎のスペクトル強度を時系列に抽出する信号処理過程と、前記信号処理部が、前記周波数の各々と、当該周波数のスペクトル強度と、時間とからなる３次元時系列データを生成する３次元時系列データ生成過程と、異常検知部が、前記３次元時系列データにより、前記印刷フェーズの各々の異常それぞれを検知する異常検知過程とを含み、前記印刷フェーズが印刷媒体の搬送を行う搬送過程、インキの印字を行う印字過程及び前記印刷媒体の搬出を行う搬出過程を含み、前記音響信号分離部が前記音響信号の強度により、前記搬送過程が開始されたことを検出し、当該搬送過程の開始に対応して印刷フェーズ音響信号として搬送領域音響信号を抽出した後、順次、前記印字過程の前記印刷フェーズ音響信号として印字領域音響信号、及び前記搬出過程の前記印刷フェーズ音響信号として搬出領域音響信号の各々を分離し、前記搬送領域音響信号、前記印字領域音響信号及び前記搬出領域音響信号の各々が、時系列に隣接した他の印刷フェーズ音響信号が所定の時間範囲で重なるように抽出されていることを特徴とする。

【0015】

本発明のプログラムは、プリンタの印刷フェーズの各々の異常をそれぞれ判別して検知するプリンタ異常予兆検知システムとしてコンピュータを機能させるプログラムであり、前記コンピュータを、前記プリンタの音響信号を取得する音響信号取得手段、前記音響信号を印刷フェーズの各々に対応した印刷フェーズ音響信号に分離する音響信号分離手段、前記印刷フェーズ音響信号の複数の周波数毎のスペクトル強度を時系列に抽出し、前記周波数の各々と、当該周波数のスペクトル強度と、時間とからなる３次元時系列データを生成する信号処理手段、前記３次元時系列データにより、前記印刷フェーズの各々の異常それぞれを検知する異常検知手段として機能させ、前記印刷フェーズが印刷媒体の搬送を行う搬送過程、インキの印字を行う印字過程及び前記印刷媒体の搬出を行う搬出過程を含み、前記音響信号分離手段が前記音響信号の強度により、前記搬送過程が開始されたことを検出し、当該搬送過程の開始に対応して印刷フェーズ音響信号として搬送領域音響信号を抽出した後、順次、前記印字過程の前記印刷フェーズ音響信号として印字領域音響信号、及び前記搬出過程の前記印刷フェーズ音響信号として搬出領域音響信号の各々を分離し、前記搬送領域音響信号、前記印字領域音響信号及び前記搬出領域音響信号の各々が、前記搬送、前記印字、前記搬出のそれぞれの動作における音響の情報が全て含まれる時間範囲において前記印刷フェーズ音響信号として分離されているプログラムである。

【0016】

本発明のプログラムは、プリンタの印刷フェーズの各々の異常をそれぞれ判別して検知するプリンタ異常予兆検知システムとしてコンピュータを機能させるプログラムであり、前記コンピュータを、前記プリンタの音響信号を取得する音響信号取得手段、前記音響信号を印刷フェーズの各々に対応した印刷フェーズ音響信号に分離する音響信号分離手段、前記印刷フェーズ音響信号の複数の周波数毎のスペクトル強度を時系列に抽出し、前記周波数の各々と、当該周波数のスペクトル強度と、時間とからなる３次元時系列データを生成する信号処理手段、前記３次元時系列データにより、前記印刷フェーズの各々の異常それぞれを検知する異常検知手段として機能させ、前記印刷フェーズが印刷媒体の搬送を行う搬送過程、インキの印字を行う印字過程及び前記印刷媒体の搬出を行う搬出過程を含み、前記音響信号分離手段が前記音響信号の強度により、前記搬送過程が開始されたことを検出し、当該搬送過程の開始に対応して印刷フェーズ音響信号として搬送領域音響信号を抽出した後、順次、前記印字過程の前記印刷フェーズ音響信号として印字領域音響信号、及び前記搬出過程の前記印刷フェーズ音響信号として搬出領域音響信号の各々を分離し、前記搬送領域音響信号、前記印字領域音響信号及び前記搬出領域音響信号の各々が、時系列に隣接した他の印刷フェーズ音響信号が所定の時間範囲で重なるように抽出されているプログラムである。

【発明の効果】

【0017】

以上説明したように、本発明によれば、プリンタの搬送、転写及び搬出の各々の異常を、印刷の動作が開始された後において、それぞれの機構の動作により発生する音響信号により、プリンタが置かれている環境によらずに、異常（あるいは故障）の原因が不明であっても、それぞれの機構のいずれが異常となっているか、あるいは異常（あるいは故障）となる可能性があるかの予兆の検知を行うプリンタ異常予兆検知システム、プリンタ異常予兆検知方法及びプログラムを提供することができる。

【図面の簡単な説明】

【0018】

【図1】本発明の一実施形態によるプリンタ異常予兆検知システムの構成例を示すブロック図である。

【図2】印刷フェーズ音響信号の各々に音響信号を分離する処理を説明するための波形図である。

【図3】本実施形態で用いるスペクトログラムの一例を示す図である。

【図4】教師データによる機械学習モデルの学習及び生成の処理の動作例を示すフローチャートである。

【図5】機械学習モデルを用いたプリンタの故障検出の処理の動作例を示すフローチャートである。

【発明を実施するための形態】

【0019】

以下、本発明の一実施形態について、図面を参照して説明する。
図１は、本発明の一実施形態によるプリンタ異常予兆検知システムの構成例を示すブロック図である。プリンタ異常予兆検知システム１は、音響信号取得部１０１、音響信号分離部１０２、信号処理部１０３、機械学習モデル生成部１０４、異常検知部１０５、表示部１０６、結果出力部１０７、音響信号記憶部１０８、機械学習モデル記憶部１０９及び判定結果記憶部１１０の各々を備えている。

【0020】

音響信号取得部１０１は、プリンタに備えられた音響センサ（不図示）、あるいはプリンタの近傍に外部デバイスとして配置した音響センサ（不図示）が検知した音響信号のデジタルデータとして音響信号データ（以下単に音響信号と示す）を取得する。
このとき、音響信号取得部１０１は、入力手段（不図示、例えばキーボードなど）から入力されるユーザの編集処理により、音響信号から雑音及び余分な波形データを除去し、３次元時系列データ（例えば、後述するスペクトログラム）を生成するために適切な波形データを生成する。

【0021】

そして、音響信号取得部１０１は、例えば、取得して波形整形した音響信号のデータを、プリンタの各々の識別情報、履歴を示す取得した日時情報とともに、音響信号記憶部１０８に書き込んで記憶させる。
また、機械学習モデルを生成する際の教師データとして用いる音響信号の場合、音響信号データとともに、当該音響信号を取得したプリンタにおける、印刷フェーズ毎に障害の有無を示す障害情報を付加して、音響信号記憶部１０８に書き込んで記憶させる。

【0022】

音響信号分離部１０２は、音響信号を、上記プリンタの印刷フェーズ毎の印刷フェーズ音響信号の各々に分離する。
図２は、印刷フェーズ音響信号の各々に音響信号を分離する処理を説明するための波形図である。図２の波形図は、横軸が時間を示し、縦軸が音響信号の振幅レベルを示している。本実施形態におけるプリンタは、例えば、印刷媒体に印字を行うためのフェーズとして、印刷媒体の搬送、当該印刷媒体への印字あるいはインキの転写などの複数の印刷フェーズ（後述する印刷フェーズ＃１、印刷フェーズ＃２、印刷フェーズ＃３１、印刷フェーズ＃４、印刷フェーズ＃５、印刷フェーズ＃６、印刷フェーズ＃７の各々）を有している。

【0023】

図２において、実線の枠（以下、抽出する時間幅を設定する枠）５０１から５０７の範囲内の信号波形が印刷フェーズの各々の印刷フェーズ音響信号と抽出する信号波形である。ここで、枠５０１内の信号波形が印刷フェーズ＃１、枠５０２内の信号波形が印刷フェーズ＃２、枠５０３内の信号波形が印刷フェーズ＃３、枠５０４内の信号波形が印刷フェーズ＃４、枠５０５内の信号波形が印刷フェーズ＃５、枠５０６内の信号波形が印刷フェーズ＃６、枠５０７内の信号波形が印刷フェーズ＃７と、それぞれ印刷フェーズに対応している。印刷フェーズ＃２、印刷フェーズ＃２、印刷フェーズ＃２、印刷フェーズ＃２及び印刷フェーズ＃２の各々の過程の印刷フェーズ音響信号は、例えば、印字領域音響信号である。また、例えば、印刷フェーズ＃１の過程の印刷フェーズ音響信号は搬送領域音響信号であり、及び印刷フェーズ＃７の過程の印刷フェーズ音響信号は排出領域音響信号である。
上記枠５０１から５０７の各々は、それぞれ時間幅が同一である。本実施形態においては、例えば、枠５０１から５０７の各々の時間幅は、５秒の範囲である。枠の高さは、音響信号の振幅幅に応じて設定され、音響信号における最大の振幅が含まれる信号レベル幅に設定される。

【0024】

音響信号分離部１０２は、音響信号記憶部１０８に予め記憶されている第１音響閾値を読み出す。この第１音響閾値は、カード搬送の印刷フェーズが開始されたタイミングを検知するために用いる、音響信号の信号レベルの強度判定する閾値である。
そして、音響信号分離部１０２は、読み出した音響信号における離散的な信号レベルと、上記第１音響閾値と比較する。このとき、音響信号分離部１０２は、音響信号の信号レベルが第１音響閾値を超えた時間を、印刷媒体搬送の印刷フェーズが開始されたタイミングとして検知する。

【0025】

音響信号分離部１０２は、印刷媒体搬送の印刷フェーズが開始されたタイミングを検知した場合、そのタイミングの時間より枠５０１を、所定の時間長Ｔ501（本実施形態においては、例えば０．２秒）戻す。この時間長Ｔ501は、本実施形態において検知対象としたプリンタにおいて、第１音響閾値を超えたタイミングに対して印刷媒体の搬送が実際に行われている際の音響信号が枠内に含まれるように戻す（本実施形態において戻すとは、時間の進行方向と逆方向に枠を移動させる（ずらす）ことを示す）時間長として設定されている。音響信号分離部１０２は、枠５０１の時間幅で設定される時間幅の開始時間を時間長Ｔ501戻すことにより、印刷媒体搬送における印刷フェーズ音響信号（搬送領域音響信号）とする信号波形の全体が枠内に含まれるように調整する。

【0026】

ここで、印刷媒体搬送の過程において発生する音響信号の信号波形の全体を枠５０１に含むように設定し、印刷媒体搬送の過程における印刷媒体搬送の機構における状態を検知するための情報として、搬送領域音響信号を抽出するための枠の設定を行う。後述する枠５０２から５０７の各々の処理も同様に行われ、転写の過程及び印刷媒体排出の過程それぞれの転写領域音響信号、排出領域音響信号の各々を抽出するための枠の設定を行う。

【0027】

次に、音響信号分離部１０２は、調整後の枠５０１に連続して枠５０２を仮設定する。そして、音響信号分離部１０２は、枠５０２を所定の時間長Ｔ502（本実施形態においては、例えば、１秒）戻す。この時間長Ｔ502は、本実施形態において検知対象としたプリンタにおいて、印刷フェーズ＃２が実際に行われている際の音響信号が枠内に含まれ、かつ枠５０１の時間幅における時間範囲と、所定の時間長の重なる時間帯を有するように（印刷媒体搬送における信号波形を含むように）戻す時間長として設定されている。音響信号分離部１０２は、枠５０２の時間帯の開始時間を時間長Ｔ502戻すことにより、印刷フェーズ＃２における印刷フェーズ音響信号（印字領域音響信号）とする信号波形の全体が枠内に含まれ、かつ印刷媒体搬送における印刷フェーズ音響信号（搬送領域音響信号）、及び印刷フェーズ＃３における印刷フェーズ音響信号（印字領域音響信号）の信号波形の一部が含まれるように調整する。

【0028】

次に、音響信号分離部１０２は、調整後の枠５０２に連続して枠５０３を仮設定する。そして、音響信号分離部１０２は、枠５０３を所定の時間長Ｔ503（本実施形態においては、例えば、１秒）戻す。この時間長Ｔ503は、本実施形態において検知対象としたプリンタにおいて、印刷フェーズ＃３が実際に行われている際の音響信号が枠内に含まれ、かつ枠５０２の時間幅における時間範囲と、所定の時間長の重なる時間帯を有するように（印刷フェーズ＃２における信号波形を含むように）戻す時間長として設定されている。音響信号分離部１０２は、枠５０３の時間帯の開始時間を時間長Ｔ503戻すことにより、印刷フェーズ＃３における印刷フェーズ音響信号（印字領域音響信号）とする信号波形の全体が枠内に含まれ、かつ印刷フェーズ＃２における印刷フェーズ音響信号（印字領域音響信号）、及び印刷フェーズ＃４における印刷フェーズ音響信号（印字領域音響信号）の信号波形の一部が含まれるように調整する。

【0029】

次に、音響信号分離部１０２は、調整後の枠５０３に連続して枠５０４を仮設定する。そして、音響信号分離部１０２は、枠５０４を所定の時間長Ｔ504（本実施形態においては、例えば、１．２秒）戻す。この時間長Ｔ504は、本実施形態において検知対象としたプリンタにおいて、印刷フェーズ＃４が実際に行われている際の音響信号が枠内に含まれ、かつ枠５０３の時時間幅における時間範囲と、所定の時間長の重なる時間帯を有するように（印刷フェーズ＃３における信号波形を含むように）戻す時間長として設定されている。音響信号分離部１０２は、枠５０４の時間帯の開始時間を時間長Ｔ504戻すことにより、印刷フェーズ＃４における印刷フェーズ音響信号（印字領域音響信号）とする信号波形の全体が枠内に含まれ、かつ印刷フェーズ＃３における印刷フェーズ音響信号（印字領域音響信号）、及び印刷フェーズ＃５における印刷フェーズ音響信号（印字領域音響信号）の各々の信号波形の一部が含まれるように調整する。

【0030】

次に、音響信号分離部１０２は、調整後の枠５０４に連続して枠５０５を仮設定する。そして、音響信号分離部１０２は、枠５０５を所定の時間長Ｔ505（本実施形態においては、例えば、１．２秒）戻す。この時間長Ｔ505は、本実施形態において検知対象としたプリンタにおいて、印刷フェーズ＃５が実際に行われている際の音響信号が枠内に含まれ、かつ枠５０４の時間幅における時間範囲と、所定の時間長の重なる時間帯を有するように（印刷フェーズ＃4における信号波形を含むように）戻す時間長として設定されている。音響信号分離部１０２は、枠５０５の時間帯の開始時間を時間長Ｔ505戻すことにより、印刷フェーズ＃５における印刷フェーズ音響信号（印字領域音響信号）とする信号波形の全体が枠内に含まれ、かつ印刷フェーズ＃４における印刷フェーズ音響信号（印字領域音響信号）、及び二次転写における印刷フェーズ音響信号（印字転写領域音響信号）の各々の信号波形の一部が含まれるように調整する。

【0031】

次に、音響信号分離部１０２は、調整後の枠５０５に連続して枠５０６を仮設定する。そして、音響信号分離部１０２は、枠５０６を所定の時間長Ｔ506（本実施形態においては、例えば、１秒）戻す。この時間長Ｔ506は、本実施形態において検知対象としたプリンタにおいて、印刷フェーズ＃６が実際に行われている際の音響信号が枠内に含まれ、かつ枠５０５の時間幅における時間範囲と、所定の時間長の重なる時間帯を有するように（印刷フェーズ＃５における信号波形を含むように）戻す時間長として設定されている。音響信号分離部１０２は、枠５０６の時間帯の開始時間を時間長Ｔ506戻すことにより、印刷フェーズ＃６における印刷フェーズ音響信号（印字領域音響信号）とする信号波形の全体が枠内に含まれ、かつ印刷フェーズ＃５における印刷フェーズ音響信号（印字領域音響信号）、及び印刷媒体排出における印刷フェーズ音響信号（排出領域音響信号）の各々の信号波形の一部が含まれるように調整する。

【0032】

次に、音響信号分離部１０２は、調整後の枠５０６に連続して枠５０７を仮設定する。そして、音響信号分離部１０２は、枠５０７を所定の時間長Ｔ507（本実施形態においては、例えば、０．５秒）戻す。この時間長Ｔ507は、本実施形態において検知対象としたプリンタにおいて、印刷フェーズ＃７が実際に行われている際の音響信号が枠内に含まれ、かつ枠５０６の時間幅における時間範囲と、所定の時間長の重なる時間帯を有するように（印刷フェーズ＃６における信号波形を含むように）戻す時間長として設定されている。音響信号分離部１０２は、枠５０７の時間帯の開始時間を時間長Ｔ507戻すことにより、印刷フェーズ＃７における印刷フェーズ音響信号（排出領域音響信号）とする信号波形の全体が枠内に含まれ、かつ印刷フェーズ＃６における印刷フェーズ音響信号（印字領域音響信号）の信号波形の一部が含まれるように調整する。

【0033】

上述したように、音響信号分離部１０２は、印刷媒体搬送の印刷フェーズが開始されたタイミングとして検知し、当該タイミングに枠５０１を設定した後、時間長Ｔ501で枠５０１の時間帯域を調整し、順次、枠５０２、５０３、５０４、５０５、５０６及び６０７の各々を設定し、それぞれ時間長Ｔ502、Ｔ503、Ｔ504、Ｔ505、Ｔ506、Ｔ507で、枠５０２、５０３、５０４、５０５、５０６、６０７それぞれの時間帯域を調整することで、音響信号から、印刷フェーズ＃１、印刷フェーズ＃２、印刷フェーズ＃３、印刷フェーズ＃４、印刷フェーズ＃５、印刷フェーズ＃６、印刷フェーズ＃７の印刷フェーズ音響信号の分離（抽出）を、上述した枠内の音響信号を抽出することにより行う。

【0034】

また、音響信号分離部１０２が印刷媒体搬送の印刷フェーズが開始されたタイミングとして検知し、当該タイミングに枠５０１を設定した後、枠５０１により抽出する（切り取る）時間帯の時間長Ｔ501による調整、及び枠５０２から５０７の各々の設定、及び時間長Ｔ502からＴ507による枠の時間帯の開始時間の調整を、ユーザが表示部１０６の表示画面を観察しつつ、マウスなどで枠を移動させて行う構成としてもよい。

【0035】

信号処理部１０３は、音響信号分離部１０２が枠により抽出した印刷フェーズ音響信号の各々の信号処理を行いスペクトログラム（３次元時系列データ）の生成を行う。
ここで、信号処理部１０３は、短時間フーリエ変換あるいはデジタルバンドパスフィルタ群を用いて、印刷フェーズ音響信号毎に周波数毎のスペクトル強度を時系列に抽出して、印刷フェーズ音響信号をスペクトログラムに変換する。
スペクトルグラムは、縦軸が周波数であり、横軸が時間であり、各時間における周波数の信号強度（スペクトル強度、すなわち音の強度、ｄＢ）を色（例えば、複数色の色の諧調度）で表現した３次元時系列データのグラフの一種である。

【0036】

図３は、本実施形態で用いるスペクトログラムの一例を示す図である。縦軸が周波数であり、横軸が時間であり、周波数と時間との各座標点の色が信号強度を示している。
これにより、スペクトログラムは、所定の周波数の信号強度だけでなく、その時間前後の複数の周波数の信号強度の情報も含むため、従来例に比較して印刷フェーズにおいて発生する音の情報を網羅した３次元時系列データとなる。
このため、所定の周波数の信号強度を閾値と比較して故障の有無を判定する場合に比較して、周波数毎の前後の時間の信号強度、及び他の周波数における信号強度との関連性を含めて解析することが可能となる。このため、閾値を超えるか否かのよる故障の有無だけではなく、より故障に近い異常の状態にある、あるいはより正常に近い状態にあるなど、将来の故障の発生を故障確率（異常情報の一種であり、どの程度の故障の状態にあるか、故障な状態から正常な状態を数値で段階的に示した確率）により予測する情報を得ることができる。

【0037】

図１に戻り、機械学習モデル生成部１０４は、上記スペクトログラムを入力として、印刷フェーズの各々の機構の障害（故障に繋がる障害）の状態を示す故障確率を出力する機械学習モデルの生成を行う。
機械学習モデル生成部１０４は、正常なプリンタから取得した印刷フェーズ音響信号と、異常な状態（故障した状態、あるいは故障に発展する状態）のプリンタから取得した印刷フェーズ信号の各々を教師データとして学習を行い、機械学習モデルの生成を行う。
そして、機械学習モデル生成部１０４は、生成した機械学習モデルを、機械学習モデル記憶部１０９に対して書き込んで記憶させる。
ここで、機械学習モデルは、例えば、ディープラーニング、ニューラルネットワーク、遺伝的プログラミング、帰納論理プログラミング、サポートベクターマシンなどが用いられる。

【0038】

また、機械学習モデル生成部１０４は、以下に示すように、所定の教師データにより機械学習モデルを学習させて生成する。
このとき、正常なプリンタから取得した音響信号から、印刷フェーズの各々の印刷フェーズ音響信号を抽出し、機械学習モデルの教師データとする。
同様に、異常な状態を有するプリンタから取得した音響信号から、印刷フェーズの各々の印刷フェーズ音響信号を抽出し、機械学習モデルの教師データとする。
本実施形態において用いられる機械学習モデルは、例えば、各印刷フェーズのスペクトログラムを入力とし、印刷フェーズの種類及びその印刷フェーズの故障確率を出力とする。出力としては、例えば「１」から「０」の間の数値が出力値となる。

【0039】

本実施形態においては、例えば、機械学習モデルの入力として、印刷フェーズ＃１、印刷フェーズ＃２、印刷フェーズ＃３、印刷フェーズ＃４、印刷フェーズ＃５、印刷フェーズ＃６、印刷フェーズ＃７の７個の印刷フェーズのスペクトログラムである。また、機械学習モデルの出力として、例えば、印刷フェーズ＃１、印刷フェーズ＃２、印刷フェーズ＃３、印刷フェーズ＃４、印刷フェーズ＃５、印刷フェーズ＃６、印刷フェーズ＃７である確率（印刷フェーズ確率）を示す出力値と、それぞれの印刷フェーズの故障の確率（故障確率）を示す出力値との１４個の出力を有する。
また、本実施形態においては、一例として７個の印刷フェーズのプリンタを説明しているが、印刷フェーズがｎ（２以上の整数）個である場合、印刷フェーズの各々である印刷フェーズ確率を示す出力がｎ個と、印刷フェーズそれぞれの故障確率がとｎ個とにより、２ｎ個の出力を有する。

【0040】

そして、正常に動作して故障の無いプリンタから取得した音響信号から得た、正常動作における印刷フェーズ音響信号を教師データにとして学習させる際に以下の処理を行う。
例えば、印刷フェーズ＃１の印刷フェーズにおける印刷フェーズ音響信号から生成したスペクトログラムを教師データとして機械学習モデルに入力し、機械学習モデルの出力として、印刷フェーズの種類として印刷フェーズ＃１の印刷フェーズ確率がより「１」に近くなり、かつカード搬送の故障確率が「０」に近くなるように学習させる。印刷フェーズ＃１以外の印刷フェーズの印刷フェーズ確率は「０」に近くなるように学習される。
同様に、正常に動作して故障の無いプリンタから取得した、他の印刷フェーズである印刷フェーズ＃２、印刷フェーズ＃３、印刷フェーズ＃４、印刷フェーズ＃５、印刷フェーズ＃６、印刷フェーズ＃７の各々の印刷フェーズのスペクトログラムを用いて、機械学習モデルの学習を行う。

【0041】

一方、異常動作を行う故障したプリンタから取得した音響信号から得た、異常動作における印刷フェーズ音響信号を教師データとして学習させる際に以下の処理を行う。
例えば、印刷フェーズ＃１の印刷フェーズにおける印刷フェーズ音響信号から生成したスペクトログラムを機械学習モデルに入力し、機械学習モデルの出力として、印刷フェーズの種類として印刷フェーズ＃１の印刷フェーズ確率が「１」に近くなり、かつ印刷フェーズ＃１の故障確率が「１」に近くなるように学習させる。この場合、印刷フェーズ＃１の印刷フェーズが故障している（あるいは異常な状態の）プリンタから取得した音響信号が用いられる。印刷フェーズ＃１以外の印刷フェーズの故障確率は「０」に近くなるように学習される。印刷フェーズ＃１以外の印刷フェーズの印刷フェーズ確率は「０」に近くなるように学習される。

【0042】

同様に、故障したプリンタから取得した、他の印刷フェーズである印刷フェーズ＃２、印刷フェーズ＃３、印刷フェーズ＃４、印刷フェーズ＃５、印刷フェーズ＃６、印刷フェーズ＃７の各々の印刷フェーズのスペクトログラムを用いて、機械学習モデルの学習を行う。この場合、それぞれの印刷フェーズが故障しているプリンタの音響信号が用いられる。故障している印刷フェーズ以外の他の印刷フェーズの故障確率は「０」に近くなるように学習される。
上述したように、複数の正常なプリンタから取得したスペクトログラム、複数の故障した印刷フェーズの機能を有するプリンタから取得したスペクトログラムの各々を教師データとして、繰り返して学習させことにより機械学習モデルを生成する。
例えば、上述した学習後の機械学習モデルに対して、印刷フェーズ＃２のスペクトログラムを入力した場合、印刷フェーズ＃１、印刷フェーズ＃２、印刷フェーズ＃３、印刷フェーズ＃４、印刷フェーズ＃５、印刷フェーズ＃６、印刷フェーズ＃７の各々の印刷フェーズ確率として、それぞれ「０．０９」、「０．７０」、「０．００」、「０．００」、「０．００」、「０．００」、「０．２１」が出力され、印刷フェーズ＃２の印刷フェーズ確率が「０．７０」で最も高く出力される。

【0043】

また、機械学習モデルは 音響信号記憶部１０８に蓄積されている教師データのプリンタではなく、正常なプリンタや故障したプリンタの新たな音響信号が得られた場合など、これらの音響信号を新たな教師データとして教師データ群に加えて 機械学習モデルの再学習（更新）を行わせ、機械学習モデルの故障確率の精度を向上させる。

【0044】

そして、異常検知部１０５は、機械学習モデルを利用して、下記に示すように、プリンタの各印刷フェーズにおける故障の有無を検出する動作を行う。
すなわち、異常検知部１０５は、機械学習モデル記憶部１０９から機械学習モデルを読み出し、入力される各印刷フェーズのスペクトログラムの判定を行う。
このとき、プリンタの印刷フェーズの各々のスペクトログラムを機械学習モデルに入力することにより、それぞれの印刷フェーズの印刷フェーズ＃１、印刷フェーズ＃２、印刷フェーズ＃３、印刷フェーズ＃４、印刷フェーズ＃５、印刷フェーズ＃６、印刷フェーズ＃７の各々の印刷フェーズ確率が出力される。

【0045】

これにより、プリンタ異常予兆検知システム１（後述する結果出力部１０７）は、例えば、印刷フェーズ＃１の印刷フェーズが最も「１」に近い確率が出力され、印刷フェーズ＃７の印刷フェーズの故障確率が「１」に近い数値である場合、表示部１０６に「印刷フェーズ＃１において異常音が発生している」ことを示す情報を表示する（通知する）。
異常検知部１０５は、判定の結果として、機械学習モデルから出力される、印刷フェーズの各々の異常な状態を示す故障確率を、プリンタ毎に判定結果記憶部１１０に書き込んで記憶させる。
表示部１０６は、例えば、液晶パネルを備えた画像表示を行う装置である。
結果出力部１０７は、判定結果記憶部１１０から判定結果を読み出し、表示部１０６における画像、あるいはスピーカ（不図示）から音声により通知する。

【0046】

上述したように、本実施形態によれば、音響信号から抽出した各印刷フェーズの印刷フェーズ音響信号のスペクトログラムを入力とし、印刷フェーズの各々の故障確率を出力する機械学習モデルを用いているため、異常の原因が不明であっても印刷フェーズの各々の異常の有無を推定することができ、かつ、プリンタが故障しているという単一的な故障検出ではなく、プリンタのいずれの印刷フェーズの機構が故障しているか否かの判定、あるいは異常の状態にあるか否かの判定などの異常状態の推定を行うことが可能となる。

【0047】

また、本実施形態によれば、判定対称のスペクトログラム（印刷フェーズ音響信号）の各々には、それぞれの印刷フェーズの時間軸における前後の時間領域が含まれているため、印刷フェーズの前後関係も、各印刷フェーズの印刷フェーズ確率及び故障確率の推定に用いられているため、他要因の情報による印刷フェーズ確率及び故障確率の推定精度の向上を実現できる。

【0048】

また、本実施形態によれば、機械学習モデルがスペクトログラムから、いずれの印刷フェーズの印刷フェーズ音響信号であるかを印刷フェーズ確率として推定するため、ユーザがいずれの印刷フェーズの印刷フェーズ音響信号であるかを意識して、判定処理を行う必要がなく、ユーザの印刷フェーズの確認処理の手間を省くことができる。
また、本実施形態によれば、機械学習モデルを判定に使用しているため、印刷フェーズの異常の判定を行うために、特に閾値を設ける必要がないため、印刷フェーズの異常の判定の際、周囲の環境による閾値の変更などの処理を行う必要がない（自由度が向上する）。

【0049】

また、本実施形態によれば、上記機械学習モデルが音響信号の各周波数成分の信号強度の時間変化を３次元的に判定することにより、音響信号の多次元の情報により、プリンタにおける単数あるいは複数のどの印刷フェーズが異常の状態、あるいは故障の状態であるか否かを推定して出力するため、多次元の情報の相互関係に基づいて、故障を含めた異常の状態を高い精度の確率として得ることができ、すなわち、故障確率の数値により（例えば、０．５以上となると故障が近い異常の状態とかにより）、プリンタの各印刷フェーズの機構の故障の発生を予兆することができる。

【0050】

図４は、教師データによる機械学習モデルの学習及び生成の処理の動作例を示すフローチャートである。
ステップＳ１０１：
音響信号取得部１０１は、外部装置から供給される教師データとしての音響信号のデータ（デジタルデータ）の各々を入力する。
音響信号取得部１０１は、取得した音響信号のデータと、プリンタが正常であること、あるいはプリンタが故障であり、いずれの印刷フェーズが異常であることを示す良否情報とを、順次、音響信号記憶部１０８にそれぞれ書き込んで記憶させる。
これにより、音響信号記憶部１０８には、機械学習モデルを学習させるための複数の教師データとなる音響信号のデータが蓄積される。

【0051】

ステップＳ１０２：
音響信号分離部１０２は、音響信号記憶部１０８からいずれか１個の音響信号のデータを選択して読み出す。

【0052】

ステップＳ１０３：
音響信号分離部１０２は、音響信号のデータのデータ長が、効率的に分離処理を行うために設定されている規定長以上であるか否かの判定を行う。
このとき、音響信号分離部１０２は、音響信号のデータのデータ長が規定長以上である場合に処理をステップＳ１０４へ進め、一方、音響信号のデータのデータ長が規定長未満である場合に処理をステップＳ１０５へ進める。

【0053】

ステップＳ１０４：
音響信号分離部１０２は、音響信号の両端部における雑音及び無音などの余分なデータを除去して、分離処理を行うための前処理を行う。
上述した音響信号から余分なデータの除去を行う前処理を、ユーザが表示部１０６に表示される音響信号の波形を観察しながら、余分なデータを視認して除去する構成としてもよい。

【0054】

ステップＳ１０５：
音響信号分離部１０２は、音響信号の開始時間から音響信号の信号レベル（強度値）と、第１音響閾値（所定のピーク値）とを比較して、当該第１音響閾値を超える信号レベルの時間を検出する。

【0055】

ステップＳ１０６：
そして、音響信号分離部１０２は、第１音響閾値を超える信号レベルの時間を、印刷フェーズにおける印刷媒体搬送が開始された（印刷媒体搬送の機構の音情報が始まった）タイミング、すなわち開始タイミングとして設定する。

【0056】

ステップＳ１０７：
これにより、音響信号分離部１０２は、所定の時間幅の枠（枠５０１）の端部（開始時間）を開始タイミングに合わせて、枠５０１が印刷媒体搬送の機構の音の全体を含むように配置する。
この枠５０１内に含まれる音響信号の部分が、印刷フェーズ＃１印刷媒体配送の印刷フェーズに対応する印刷フェーズ音響信号として抽出される。

【0057】

その後、すでに説明したように、音響信号分離部１０２は、枠５０１を基準として、順次枠５０２から枠５０７の各々により、印刷フェーズ＃２、印刷フェーズ＃３、印刷フェーズ＃４、印刷フェーズ＃５、印刷フェーズ＃６、印刷フェーズ＃７の印刷フェーズ音響信号の分離（抽出）を行う。
そして、音響信号分離部１０２は、分離した各印刷フェーズ音響信号を、当該印刷フェーズ信号を分離した音響信号に対応させて、音響信号記憶部１０８に書き込んで記憶させる。

【0058】

ステップＳ１０８：
信号処理部１０３は、音響信号記憶部１０８から、処理対象の音響信号から抽出した印刷フェーズ音響信号を読み込む。
そして、信号処理部１０３は、読み込んだ印刷フェーズ音響信号の各々を、スペクトログラムに変換して、処理対象の音響信号に対応させて、音響信号記憶部１０８に書き込んで記憶させる。

【0059】

ステップＳ１０９：
音響信号分離部１０２は、音響信号記憶部１０８に蓄積されている全ての音響信号の分離の処理が終了したか否かの判定を行う。
このとき、音響信号分離部１０２は、音響信号記憶部１０８に蓄積されている全ての音響信号の分離の処理が終了した場合、処理をステップＳ１１０へ進める。
一方、音響信号分離部１０２は、音響信号記憶部１０８に蓄積されている全ての音響信号の分離の処理が終了していない場合、処理をステップＳ１０２へ戻す。

【0060】

ステップＳ１１０：
機械学習モデル生成部１０４は、機械学習モデル記憶部１０９から、順次、音響信号の各々における印刷フェーズ音響信号のスペクトログラムと、当該スペクトログラムに対応する印刷フェーズの種類及び各印刷フェーズの異常の有無の状態を示す良否情報とを教師データとして読出し、機械学習モデルの学習を行わせる。
すなわち、教師データとしては、印刷フェーズ毎のスペクトログラムと、ラベルとして当該スペクトログラムの印刷フェーズが印刷フェーズ＃１、印刷フェーズ＃２、印刷フェーズ＃３、印刷フェーズ＃４、印刷フェーズ＃５、印刷フェーズ＃６、印刷フェーズ＃７のいずれであるかの情報と、印刷フェーズの機構の異常の有無（有りの場合「１」、無しの場合「０」）である。

【0061】

そして、機械学習モデル生成部１０４は、スペクトトログラムを機械学習モデルに入力し、入力したスペクトログラムに対応する印刷フェーズの出力である印刷フェーズ確率が「１」に近くなり、その他の印刷フェーズの印刷フェーズ確率が「０」に近くなり、かつ故障確率が当該印刷フェーズに異常がある場合「１」に近くなり、異常が無い場合「０」に近くなるように、機械学習モデルの学習を行わせる。

【0062】

ステップＳ１１１：
機械学習モデル生成部１０４は、音響信号記憶部１０８に記憶されている全ての教師データによる機械学習モデルの学習が終了した後、学習回数が所定の回数以上であるかいなか、すなわち所定の回数を繰返したか否かの判定を行う。
このとき、機械学習モデル生成部１０４は、機械学習モデルの学習を所定の回数を繰返した場合に処理をステップＳ１１２へ進め、一方、機械学習モデルの学習の回数が所定の回数に達していない場合に処理をステップＳ１１０へ戻す。
また、機械学習モデル生成部１０４は、所定の回数繰り替えして行い学習させるのはなく、印刷フェーズ確率が所定の数値以上であり、かつ故障確率の数値がそれぞれの故障の有無に対応して所定の数値以上となるまで、音響信号記憶部１０８に記憶されている全ての教師データを用いて繰返して行う構成としてもよい。

【0063】

ステップＳ１１２：
機械学習モデル生成部１０４は、上述した機械学習モデルの学習を、音響信号記憶部１０８に記憶されている全ての教師データを用いて、所定の回数繰り替えして行うことで、機械学習モデルの生成を終了する。

【0064】

ステップＳ１１３：
そして、機械学習モデル生成部１０４は、生成した機械学習モデルを機械学習モデル記憶部１０９に書き込んで記憶させる。

【0065】

図５は、機械学習モデルを用いたプリンタの故障検出の処理の動作例を示すフローチャートである。
ステップＳ２０１：
音響信号取得部１０１は、外部装置から供給される、障害の有無を検知する対象のプリンタの音響信号のデータを、音響信号記憶部１０８に書き込んで記憶させる。

【0066】

ステップＳ２０２：
音響信号分離部１０２は、音響信号記憶部１０８から、異常の有無の判定対称の音響信号のデータを選択して読み出す。
ここで、ステップＳ２０２からＳ２０８の各々の処理は、すでに説明したステップＳ１０２からステップＳ１０８のそれぞれと同様のため、説明を省略する。

【0067】

ステップＳ２０９：
異常検知部１０５は、異常の有無の判定対称のプリンタの音響信号から求めた各印刷フェーズ音響信号のスペクトログラムの各々を、機械学習モデル記憶部１０９から読み出す。
また、異常検知部１０５は、機械学習モデル記憶部１０９から機械学習モデルを読み出す。

【0068】

ステップＳ２１０：
異常検知部１０５は、読み出した印刷フェーズのスペクトログラムの各々を、機械学習モデルに対して入力する。
これにより、異常検知部１０５は、各スペクトログラムの印刷フェーズ確率及び当該印刷フェーズの故障率を、機械学習モデルにより推定して出力する。
すなわち、機械学習モデルは、印刷フェーズが不明であり、かつ異常の有無が不明の印刷フェーズのスペクトログラムが入力された場合、印刷フェーズ毎の印刷フェーズ確率を「１」から「０」の間の数値にて出力し、印刷フェーズ毎の故障確率を「１」から「０」の間の数値にて出力する。

【0069】

ステップＳ２１１：
異常検知部１０５は、入力されるスペクトログラムに対応して得られた、印刷フェーズの各々の印刷フェーズ確率と、印刷フェーズの各々の故障確率とを、判定結果として判定結果記憶部１１０に対して書き込んで記憶させる。
また、異常検知部１０５は、例えば、スペクトログラムに対応する印刷フェーズ確率が最も高い印刷フェーズを、そのスペクトログラムの印刷フェーズと判定し、その印刷フェーズに対応する故障確率をその印刷フェーズの異常の状態とする構成としてもよい。
また、故障確率に所定の閾値を複数設けて、第１閾値を超えた場合に故障と判定し、第２閾値（＜第１閾値）を超え、第１閾値未満の場合、故障となる予兆の異常があると判定する構成としてもよい。

【0070】

なお、本発明における図１のプリンタ異常予兆検知システム１の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによりプリンタの音響信号から印刷フェーズ音響信号を抽出し、機械学習モデルにより印刷フェーズの各々の異常の有無、あるいは故障の予兆の検知の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

【0071】

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

【符号の説明】

【0072】

１…プリンタ異常予兆検知システム
１０１…音響信号取得部
１０２…音響信号分離部
１０３…信号処理部
１０４…機械学習モデル生成部
１０５…異常検知部
１０６…表示部
１０７…結果出力部
１０８…音響信号記憶部
１０９…機械学習モデル記憶部
１１０…判定結果記憶部

【図1】

【図2】

【図3】

【図4】

【図5】