IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ コニカミノルタ株式会社の特許一覧

特開2024-106298音診断システム、音診断方法および音診断プログラム
<>
  • 特開-音診断システム、音診断方法および音診断プログラム 図1
  • 特開-音診断システム、音診断方法および音診断プログラム 図2
  • 特開-音診断システム、音診断方法および音診断プログラム 図3
  • 特開-音診断システム、音診断方法および音診断プログラム 図4
  • 特開-音診断システム、音診断方法および音診断プログラム 図5
  • 特開-音診断システム、音診断方法および音診断プログラム 図6
  • 特開-音診断システム、音診断方法および音診断プログラム 図7
  • 特開-音診断システム、音診断方法および音診断プログラム 図8
  • 特開-音診断システム、音診断方法および音診断プログラム 図9
  • 特開-音診断システム、音診断方法および音診断プログラム 図10
  • 特開-音診断システム、音診断方法および音診断プログラム 図11
  • 特開-音診断システム、音診断方法および音診断プログラム 図12
  • 特開-音診断システム、音診断方法および音診断プログラム 図13
  • 特開-音診断システム、音診断方法および音診断プログラム 図14
  • 特開-音診断システム、音診断方法および音診断プログラム 図15
  • 特開-音診断システム、音診断方法および音診断プログラム 図16
  • 特開-音診断システム、音診断方法および音診断プログラム 図17
  • 特開-音診断システム、音診断方法および音診断プログラム 図18
  • 特開-音診断システム、音診断方法および音診断プログラム 図19
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024106298
(43)【公開日】2024-08-07
(54)【発明の名称】音診断システム、音診断方法および音診断プログラム
(51)【国際特許分類】
   G01H 17/00 20060101AFI20240731BHJP
   G01M 99/00 20110101ALI20240731BHJP
【FI】
G01H17/00 Z
G01M99/00 Z
【審査請求】未請求
【請求項の数】29
【出願形態】OL
(21)【出願番号】P 2023116459
(22)【出願日】2023-07-18
(31)【優先権主張番号】P 2023010334
(32)【優先日】2023-01-26
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】000001270
【氏名又は名称】コニカミノルタ株式会社
(74)【代理人】
【識別番号】110001195
【氏名又は名称】弁理士法人深見特許事務所
(72)【発明者】
【氏名】小野 賢児
【テーマコード(参考)】
2G024
2G064
【Fターム(参考)】
2G024AD21
2G024BA22
2G024BA27
2G024CA13
2G024FA04
2G024FA06
2G024FA15
2G064AA11
2G064AB01
2G064AB02
2G064AB13
2G064AB15
2G064AB22
2G064BA02
2G064BD02
2G064CC41
2G064CC42
2G064CC43
2G064DD02
(57)【要約】
【課題】解析対象の装置が発する複数の周波数を含む音の情報を分析する。
【解決手段】音診断システム100は、装置130が発する複数の周波数を含む音情報を取得する取得部と、取得部により取得した音情報から、所定期間内の特定の各タイミングに含まれる複数の周波数に対応する複数の音圧に関する情報を抽出する抽出部と、抽出部により抽出された各タイミングにおける複数の音圧に関する情報を解析する解析部と、解析結果を出力する出力部とを備える。
【選択図】図1
【特許請求の範囲】
【請求項1】
装置が発する複数の周波数を含む音情報を取得する取得部と、
前記取得部により取得した前記音情報から、所定期間内の特定の各タイミングに含まれる前記複数の周波数に対応する複数の音圧に関する情報を抽出する抽出部と、
前記抽出部により抽出された前記各タイミングにおける前記複数の音圧に関する情報を解析する解析部と、
解析結果を出力する出力部とを備える、音診断システム。
【請求項2】
前記解析部は、前記抽出部により抽出された前記各タイミングにおける前記複数の音圧に関する情報に基づいて、前記音情報の発現の周期性を解析する、請求項1に記載の音診断システム。
【請求項3】
前記解析部は、前記抽出部により抽出された前記各タイミングにおける前記複数の音圧に関する情報に基づいて、前記音情報の発生源の部品の候補を推定する、請求項1に記載の音診断システム。
【請求項4】
前記抽出部は、
前記音情報を分析し、前記音情報の前記各タイミングに含まれる各周波数の音の総合音圧を算出する総合音圧算出部と、
前記総合音圧から複数のピークタイミングを検出するピーク検出部とを含み、
前記複数の音圧に関する情報は、前記総合音圧及び前記複数のピークタイミングを含む、請求項1~3のいずれかに記載の音診断システム。
【請求項5】
前記解析部は、
前記複数のピークタイミングをクラスタリングするピーク分類部と、
前記周波数および/または各前記総合音圧に基づいて、各クラスタに含まれる音の周期を算出する周期算出部と、
各前記クラスタに含まれる音の周期のいずれかと近い周期の音を発する1つ以上の部品を特定する部位特定部とを含む、請求項4に記載の音診断システム。
【請求項6】
前記音情報の前記各タイミングに含まれる各周波数の音の総合音圧を算出することは、各前記タイミングにおいて、各周波数の音圧の総和または平均値を算出することを含む、請求項4に記載の音診断システム。
【請求項7】
前記総合音圧算出部は、各前記周波数の音の発生頻度に応じて、各前記周波数の音の加算値を調整する、請求項4に記載の音診断システム。
【請求項8】
前記総合音圧から複数のピークタイミングを抽出することは、監視対象の部品以外から発生する周波数の音を抽出対象から除外することを含む、請求項4に記載の音診断システム。
【請求項9】
前記総合音圧から複数のピークタイミングを抽出することは、各前記タイミングの内、あるタイミングにおける演算によって求められた総合音圧と前記あるタイミングの前後における演算によって求められた総合音圧との差分に基づいて、各前記ピークタイミングを抽出することを含む、請求項4に記載の音診断システム。
【請求項10】
前記ピーク検出部は、前記差分が予め定められた閾値以上の場合に、前記あるタイミングを前記ピークタイミングとする、請求項9に記載の音診断システム。
【請求項11】
前記ピーク検出部は、前記ピークタイミングの検出後の一定期間、前記ピークタイミングの検出を停止する、請求項9に記載の音診断システム。
【請求項12】
前記ピーク分類部は、機械学習を用いたクラスタリングにより、前記複数のピークタイミングの各々を各前記クラスタのいずれかに割り振る、請求項5に記載の音診断システム。
【請求項13】
前記ピーク分類部は、クラスタ数を自動決定する、請求項12に記載の音診断システム。
【請求項14】
前記周期算出部は、同一クラスタ内の隣接する前記ピークタイミングの間隔に基づいて、前記クラスタごとの周期を算出する、請求項12に記載の音診断システム。
【請求項15】
前記周期算出部は、誤検出または誤分類と推定されるピークタイミングを除いて周期を算出する、請求項14に記載の音診断システム。
【請求項16】
前記部位特定部は、
あるクラスタ内の各前記ピークタイミングの間隔が一定以上または一定以下であることに基づいて、前記あるクラスタに含まれる音を回転部品が発する音でないと判定し、
前記あるクラスタを部品特定処理から排除する、請求項5に記載の音診断システム。
【請求項17】
前記部位特定部は、
あるクラスタ内の各前記ピークタイミングの間隔のバラつきが一定以上であることに基づいて、前記あるクラスタに含まれる音を回転部品が発する音でないと判定し、
前記あるクラスタを部品特定処理から排除する、請求項5に記載の音診断システム。
【請求項18】
前記装置は、複数の駆動源を備える画像形成装置である、請求項1~3のいずれかに記載の音診断システム。
【請求項19】
前記複数の駆動源は、定着ベルト、排紙ローラー、給紙ローラーおよび定着ギアのいずれかを駆動させる、請求項18に記載の音診断システム。
【請求項20】
装置の音診断方法であって、前記音診断方法は、
前記装置が発する複数の周波数を含む音情報を取得することと、
取得した前記音情報から、所定期間内の特定の各タイミングに含まれる前記複数の周波数に対応する複数の音圧に関する情報を抽出することと、
抽出された前記各タイミングにおける前記複数の音圧に関する情報を解析することと、
解析結果を出力することとを含む、音診断方法。
【請求項21】
前記複数の音圧に関する情報を解析することは、抽出された前記各タイミングにおける前記複数の音圧に関する情報に基づいて、前記音情報の発現の周期性を解析することを含む、請求項20に記載の音診断方法。
【請求項22】
前記複数の音圧に関する情報を解析することは、抽出された前記各タイミングにおける前記複数の音圧に関する情報に基づいて、前記音情報の発生源の部品の候補を推定することを含む、請求項20に記載の音診断方法。
【請求項23】
取得した前記音情報から、所定期間内の特定の前記各タイミングに含まれる前記複数の周波数に対応する複数の音圧に関する情報を抽出することは、
前記音情報を分析し、前記音情報の前記各タイミングに含まれる各周波数の音の総合音圧を算出することと、
前記総合音圧から複数のピークタイミングを抽出することとを含み、
前記複数の音圧に関する情報は、前記総合音圧及び前記複数のピークタイミングを含む、請求項20に記載の音診断方法。
【請求項24】
抽出された前記各タイミングにおける前記複数の音圧に関する情報を解析することは、
前記複数のピークタイミングをクラスタリングすることと、
前記周波数および/または各前記総合音圧に基づいて、各クラスタに含まれる音の周期を特定することと、
各前記クラスタに含まれる音の周期のいずれかと近い周期の音を発する1つ以上の部品を特定することとを含む、請求項23に記載の音診断方法。
【請求項25】
装置が発する複数の周波数を含む音情報を取得することと、
取得した前記音情報から、所定期間内の特定の各タイミングに含まれる前記複数の周波数に対応する複数の音圧に関する情報を抽出することと、
抽出された前記各タイミングにおける前記複数の音圧に関する情報を解析することと、
解析結果を出力することとをコンピューターに実行させる、音診断プログラム。
【請求項26】
前記複数の音圧に関する情報を解析することは、抽出された前記各タイミングにおける前記複数の音圧に関する情報に基づいて、前記音情報の発現の周期性を解析することを含む、請求項25に記載の音診断プログラム。
【請求項27】
前記複数の音圧に関する情報を解析することは、抽出された前記各タイミングにおける前記複数の音圧に関する情報に基づいて、前記音情報の発生源の部品の候補を推定することを含む、請求項25に記載の音診断プログラム。
【請求項28】
取得した前記音情報から、所定期間内の特定の各タイミングに含まれる前記複数の周波数に対応する複数の音圧に関する情報を抽出することは、
前記音情報を分析し、前記音情報の前記各タイミングに含まれる各周波数の音の総合音圧を算出することと、
前記総合音圧から複数のピークタイミングを抽出することとを含み、
前記複数の音圧に関する情報は、前記総合音圧及び前記複数のピークタイミングを含む、請求項25に記載の音診断プログラム。
【請求項29】
抽出された前記各タイミングにおける前記複数の音圧に関する情報を解析することは、
前記複数のピークタイミングをクラスタリングすることと、
前記周波数および/または各前記総合音圧に基づいて、各クラスタに含まれる音の周期を特定することと、
各前記クラスタに含まれる音の周期のいずれかと近い周期の音を発する1つ以上の部品を特定することとを含む、請求項28に記載の音診断プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、音診断システムに関し、より特定的には、音圧を用いた音診断システムに関する。
【背景技術】
【0002】
家庭で使用される家電またはオフィスで使用される画像形成装置等の装置が故障した場合、装置は異音を発することがある。サービスマンは、この異音から故障した部品を特定して、故障した部品を交換することがある。しかしながら、複数のモーター等を備える装置が故障した場合、サービスマンは、当該装置のどの部品が異音を発しているのかを特定できない場合がある。この場合、サービスマンは、どの部品を修理または交換すればよいのかが特定できない。そのため、装置内で異音を発している部品を容易に特定するための音診断の技術が必要とされている。
【0003】
音診断に関し、例えば、特開2020-071436号公報(特許文献1)は、「異常音の発生源を特定することができる発生源特定装置及び画像形成装置」を開示している。当該装置は、「メモリー及びプロセッサーを含む。メモリーは、駆動機構の駆動周波数に関する情報を記憶する。プロセッサーは、複数の駆動機構の音から異常音を検出し、検出した異常音の発生間隔を特定し、特定した異常音の発生間隔と前記メモリーが記憶する情報とに基づいて前記異常音の発生源となる駆動機構を特定する」というものである([要約]参照)。
【0004】
また、音診断に関する他の技術が、例えば、特許文献2および特許文献3に開示されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2020-071436号公報
【特許文献2】特開2017-138151号公報
【特許文献3】特開2006-145404号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
音診断の対象となる装置は、騒音のある環境下で使用されることがある。また、音診断の対象となる装置は、駆動音を発する複数の部品を備えることがある。これらの部品は、異なる周波数成分を含む。このような環境下では、音診断用の装置は、異なる周波数成分を含む複数の音を拾ってしまう。特許文献1~3に開示された技術では、このように音診断用の装置が複数の音源の音を拾ってしまう場合、異音の発生源を特定することができない。したがって、音診断の対象となる装置が発する複数の周波数を含む音の情報を分析する技術が必要とされている。
【0007】
本開示は、上記のような背景に鑑みてなされたものであって、ある局面における目的は、音診断用の装置が複数の音源の音を拾ってしまう環境下でも、解析対象の装置が発する複数の周波数を含む音の情報を分析する技術を提供することにある。
【課題を解決するための手段】
【0008】
ある実施の形態に従うと、音診断システムが提供される。音診断システムは、音診断の対象となる装置が発する複数の周波数を含む音情報を取得する取得部と、取得部により取得した音情報から、所定期間内の特定の各タイミングに含まれる複数の周波数に対応する複数の音圧に関する情報を抽出する抽出部と、抽出部により抽出された各タイミングにおける複数の音圧に関する情報を解析する解析部と、解析結果を出力する出力部とを備える。
【0009】
ある局面において、解析部は、抽出部により抽出された各タイミングにおける複数の音圧に関する情報に基づいて、音情報の発現の周期性を解析する。
【0010】
ある局面において、解析部は、抽出部により抽出された各タイミングにおける複数の音圧に関する情報に基づいて、音情報の発生源の部品の候補を推定する。
【0011】
ある局面において、抽出部は、音情報を分析し、音情報の各タイミングに含まれる各周波数の音の総合音圧を算出する総合音圧算出部と、総合音圧から複数のピークタイミングを検出するピーク検出部とを含む。複数の音圧に関する情報は、総合音圧及び複数のピークタイミングを含む。
【0012】
ある局面において、解析部は、複数のピークタイミングをクラスタリングするピーク分類部と、周波数および/または各総合音圧に基づいて、各クラスタに含まれる音の周期を算出する周期算出部と、各クラスタに含まれる音の周期のいずれかと近い周期の音を発する1つ以上の部品を特定する部位特定部とを含む。
【0013】
ある局面において、音情報の各タイミングに含まれる各周波数の音の総合音圧を算出することは、各タイミングにおいて、各周波数の音圧の総和または平均値を算出することを含む。
【0014】
ある局面において、総合音圧算出部は、各周波数の音の発生頻度に応じて、各周波数の音の加算値を調整する。
【0015】
ある局面において、総合音圧から複数のピークタイミングを抽出することは、監視対象の部品以外から発生する周波数の音を抽出対象から除外することを含む。
【0016】
ある局面において、総合音圧から複数のピークタイミングを抽出することは、各タイミングの内、あるタイミングにおける演算によって求められた総合音圧とあるタイミングの前後における演算によって求められた総合音圧との差分に基づいて、各ピークタイミングを抽出することを含む。
【0017】
ある局面において、ピーク検出部は、差分が予め定められた閾値以上の場合に、あるタイミングをピークタイミングとする。
【0018】
ある局面において、ピーク検出部は、ピークタイミングの検出後の一定期間、ピークタイミングの検出を停止する。
【0019】
ある局面において、ピーク分類部は、機械学習を用いたクラスタリングにより、複数のピークタイミングの各々を各クラスタのいずれかに割り振る。
【0020】
ある局面において、ピーク分類部は、クラスタ数を自動決定する。
【0021】
ある局面において、周期算出部は、同一クラスタ内の隣接するピークタイミングの間隔に基づいて、クラスタごとの周期を算出する。
【0022】
ある局面において、周期算出部は、誤検出または誤分類と推定されるピークタイミングを除いて周期を算出する。
【0023】
ある局面において、部位特定部は、あるクラスタ内の各ピークタイミングの間隔が一定以上または一定以下であることに基づいて、あるクラスタに含まれる音を回転部品が発する音でないと判定し、あるクラスタを部品特定処理から排除する。
【0024】
ある局面において、部位特定部は、あるクラスタ内の各ピークタイミングの間隔のバラつきが一定以上であることに基づいて、あるクラスタに含まれる音を回転部品が発する音でないと判定し、あるクラスタを部品特定処理から排除する。
【0025】
ある局面において、装置は、複数の駆動源を備える画像形成装置である。
【0026】
ある局面において、複数の駆動源は、定着ベルト、排紙ローラー、給紙ローラーおよび定着ギアのいずれかを駆動させる。
【0027】
他の実施の形態に従うと、装置の音診断方法が提供される。音診断方法は、装置が発する複数の周波数を含む音情報を取得することと、取得した音情報から、所定期間内の特定の各タイミングに含まれる複数の周波数に対応する複数の音圧に関する情報を抽出することと、抽出された各タイミングにおける複数の音圧に関する情報を解析することと、解析結果を出力することとを含む。
【0028】
ある局面において、複数の音圧に関する情報を解析することは、抽出された各タイミングにおける複数の音圧に関する情報に基づいて、音情報の発現の周期性を解析することを含む。
【0029】
ある局面において、複数の音圧に関する情報を解析することは、抽出された各タイミングにおける複数の音圧に関する情報に基づいて、音情報の発生源の部品の候補を推定することを含む。
【0030】
ある局面において、取得した音情報から、所定期間内の特定の各タイミングに含まれる複数の周波数に対応する複数の音圧に関する情報を抽出することは、音情報を分析し、音情報の各タイミングに含まれる各周波数の音の総合音圧を算出することと、総合音圧から複数のピークタイミングを抽出することとを含む。複数の音圧に関する情報は、総合音圧及び複数のピークタイミングを含む。
【0031】
ある局面において、抽出された各タイミングにおける複数の音圧に関する情報を解析することは、複数のピークタイミングをクラスタリングすることと、周波数および/または各総合音圧に基づいて、各クラスタに含まれる音の周期を特定することと、各クラスタに含まれる音の周期のいずれかと近い周期の音を発する1つ以上の部品を特定することとを含む。
【0032】
さらに他の実施の形態に従うと、装置の音診断プログラムが提供される。音診断プログラムは、装置が発する複数の周波数を含む音情報を取得することと、取得した音情報から、所定期間内の特定の各タイミングに含まれる複数の周波数に対応する複数の音圧に関する情報を抽出することと、抽出された各タイミングにおける複数の音圧に関する情報を解析することと、解析結果を出力することとをコンピューターに実行させる。
【0033】
ある局面において、複数の音圧に関する情報を解析することは、抽出された各タイミングにおける複数の音圧に関する情報に基づいて、音情報の発現の周期性を解析することを含む。
【0034】
ある局面において、複数の音圧に関する情報を解析することは、抽出された各タイミングにおける複数の音圧に関する情報に基づいて、音情報の発生源の部品の候補を推定することを含む。
【0035】
ある局面において、取得した音情報から、所定期間内の特定の各タイミングに含まれる複数の周波数に対応する複数の音圧に関する情報を抽出することは、音情報を分析し、音情報の各タイミングに含まれる各周波数の音の総合音圧を算出することと、総合音圧から複数のピークタイミングを抽出することとを含む。複数の音圧に関する情報は、総合音圧及び複数のピークタイミングを含む。
【0036】
ある局面において、抽出された各タイミングにおける複数の音圧に関する情報を解析することは、複数のピークタイミングをクラスタリングすることと、周波数および/または各総合音圧に基づいて、各クラスタに含まれる音の周期を特定することと、各クラスタに含まれる音の周期のいずれかと近い周期の音を発する1つ以上の部品を特定することとを含む。
【発明の効果】
【0037】
ある実施の形態に従うと、音診断用の装置が複数の音源の音を拾ってしまう環境下でも、解析対象の装置が発する複数の周波数を含む音の情報を分析することが可能である。
【0038】
この開示内容の上記および他の目的、特徴、局面および利点は、添付の図面と関連して理解される本開示に関する次の詳細な説明から明らかとなるであろう。
【図面の簡単な説明】
【0039】
図1】本開示の技術を適用可能な音診断システム100の構成の一例を示す図である。
図2】本実施の形態に従う音診断システム100が備える構成の一例を示す図である。
図3】音診断システム100が実行する診断処理の手順の一例を示す図である。
図4】スペクトログラム400の一例を示す図である。
図5】取得されるスペクトログラムの解析処理の一例を示す図である。
図6】時間毎の各周波数の音圧の総和のデータ600の一例を示す図である。
図7】ピーク値情報700の一例を示す図である。
図8】あるスペクトログラムを概念的に示した図である。
図9】総合音圧のピークのプロミネンスの一例を示す図である。
図10】ピーク分類部208によるクラスタリング(分類)の手順の一例を示す図である。
図11】ピークタイミングのクラスタリング結果の一例を示す図である。
図12】表示部224に表示される第1の画面1200の例を示す図である。
図13】表示部224に表示される第2の画面1300の例を示す図である。
図14】表示部224に表示される第2の画面1300の続きを示す図である。
図15】周期表214の一例を示す図である。
図16】クラスタリングされたピークタイミングの集合の第1の例を示す図である。
図17】クラスタリングされたピークタイミングの発生周期の計算結果1700の一例を示す図である。
図18】クラスタリングされたピークタイミングの集合の第2の例を示す図である。
図19】クラスタリングされたピークタイミングの発生周期の計算結果1900の一例を示す図である。
【発明を実施するための形態】
【0040】
以下、図面を参照しつつ、本開示に係る技術思想の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。また、各実施の形態及び各変形例等は、適宜選択的に組み合わされてもよい。
【0041】
<A.適用例>
【0042】
図1は、本開示の技術を適用可能な音診断システム100の構成の一例を示す図である。図1を参照して、本開示の技術を適用可能な音診断システム100の概要と、音診断における課題とについて説明する。併せて、本明細書で使用する用語について説明する。
【0043】
(a.本開示の技術を適用可能なシステムの構成)
【0044】
音診断システム100は、一例として、診断装置120と、サーバー110とを備える。ある実施の形態に従うと、診断装置120は、サーバー110の機能を備えていてもよい。装置130は、音診断の対象である。装置130は、駆動部品を備える任意の機器である。装置130は、画像形成装置等のオフィス機器、家電、工場内の機器、研究機器等を包含する。
【0045】
診断装置120は、装置130が発する音を集音し、解析結果を表示する。サービスマンは、エンドユーザーによって使用される保守対象の装置の保守管理、修理等を行うために、診断装置120を携帯する。診断装置120は、保守対象の装置が発した異音を取得する。診断装置120は、少なくとも保守対象の装置が発した異音を取得して、取得した異音の解析結果を表示する。異音の解析結果は、波形データおよび/または異音を発していると推定される部品の候補を含む。
【0046】
ある実施の形態に従うと、診断装置120は、サンプリングされた音データをサーバー110に送信する。そして、診断装置120は、サーバー110から解析結果を受信する。さらに、診断装置120は、解析結果をディスプレイに表示する。解析結果は、少なくとも、異音を発する部品の候補の情報を含む。診断装置120とサーバー110とは、無線または有線のネットワークを介して、相互にデータを送受信可能に接続される。
【0047】
他の実施の形態に従うと、診断装置120は、サンプリングされた音データを解析する。そして、診断装置120は、解析結果をディスプレイに表示する。解析結果は、少なくとも、異音を発する部品の候補の情報を含む。この場合、音診断システム100は、サーバー110を備えなくてもよい。
【0048】
また、他の実施の形態に従うと、診断装置120は、タブレット、スマートフォン、パーソナルコンピューター、スマートグラスまたはその他の任意の情報処理装置である。診断装置120は、通常のマイクまたは指向性マイク等を内蔵してもよい。また、診断装置は、通常のマイクまたは指向性マイクを接続可能に構成されてもよい。
【0049】
サーバー110は、ネットワークを介して、診断装置120から音データを受信する。サーバー110は、音データを解析し、その解析結果を診断装置120に返信する。解析結果は、波形データおよび/または異音を発していると推定される部品の候補を含む。音データの解析手順の詳細については、図3図11を参照して後述する。ある実施の形態に従うと、サーバー110は、1台以上の装置、クラウド環境上に構築された仮想マシン、または、これらの組み合わせとして実現され得る。
【0050】
装置130は、診断対象の装置である。装置130は、1つ以上の駆動部品を備える。駆動部品は、モーターによって駆動される部品である。各駆動部品が発する音は、互いに異なる周波数を有することがある。診断装置120は、各音の発生源を特定するために、各駆動部品が発する音の周波数を利用する。
【0051】
(b.音診断において発生し得る課題)
【0052】
前述のように、装置130は、1つ以上の駆動部品を備える。例えば、オフィス等で使用される画像形成装置は、非常に多くの駆動部品を備える。そのため、診断装置120が異音を集音したとしても、どの駆動部品がその異音を発しているのかを特定することは容易ではない。この課題を解決するために、音診断システム100は、装置130が発する複数の音を拾うと共に、各音を分類する機能を有する。また、音診断システム100は、分類された各音から、各音を発する部品を特定する機能を有する。
【0053】
(c.本明細書で使用する用語)
【0054】
次に、本開示の技術を説明するために使用する用語について説明する。
【0055】
本明細書における「システム」は、1または複数の装置からなる構成、サーバーを包含する。また、システムは、クラウド環境に構築された仮想マシンもしくはコンテナ、または、これらの少なくとも一部からなる構成も包含する。
【0056】
本明細書における「装置」は、パーソナルコンピューター、ワークステーション、サーバー装置、タブレットまたはスマートフォン等の任意の情報処理装置であってもよい。また、装置は、これらの組合せであってもよい。
【0057】
ある実施の形態に従うと、音診断システム100は、ディスプレイおよびキーボード等の入出力機器と接続されて、ユーザーに使用されてもよい。他の実施の形態に従うと、音診断システム100は、ネットワークを介して、サービスまたはウェブアプリケーションとして、ユーザーに各種機能を提供してもよい。この場合、ユーザーは、自身の端末にインストールされたブラウザまたはクライアントソフトウェアを介して、音診断システム100の機能を使用し得る。
【0058】
本明細書における「診断対象の装置」は、家庭、オフィス、工場、学校または研究所等の任意の場所に設置される装置を包含する。一例として、診断対象の装置は、冷蔵庫、エアコン、画像形成装置、工場に配置される製造装置またはロボット等の任意の装置である。診断対象の装置は、1つ以上の駆動部品を含む。本明細書において、診断対象の装置を単に装置と呼ぶこともある。
【0059】
本明細書における「部品(駆動部品)」は、診断対象の装置が備える部品である。部品は、モーターであってもよいし、モーターおよび動力伝達部品の組み合わせであってもよい。また、部品は、モーター、動力伝達部品およびその先の部品の組み合わせであってもよい。もしくは、部品および駆動部品は、モーターによって駆動される部品であってもよい。
【0060】
本明細書における「音および音データ」は、診断対象の装置が発する音である。また、音および音データは、診断装置120がマイクによって拾ったデータ、すなわち、サンプリングされた音データであってもよい。サンプリングされた音データは、任意の解像度で表されるデジタルデータである。
【0061】
本明細書における「音圧」は、音による大気圧からの変動分である。音圧は、最大振幅の実効値として定義される。
【0062】
本明細書における「総合音圧(総合的な音の強さ)」は、スペクトログラムのあるタイミングにおける各周波数成分の音圧の総和または平均値である。スペクトログラムは、タイミングごとに、複数の周波数成分を含む。例えば、スペクトログラムのタイミングAに、周波数成分X,Y,Zが含まれていたとする。この場合、タイミングAにおける総合音圧(総合的な音の強さ)は、「タイミングAにおける総合音圧=周波数成分Xの音圧+周波数成分Yの音圧+周波数成分Zの音圧」の式により計算される。または、タイミングAにおける総合音圧(総合的な音の強さ)は、周波数成分X,Y,Zの音圧の平均値であってもよい。
【0063】
本明細書における「(総合音圧の)ピークタイミング」は、連続する総合音圧のグラフのうち、前後のタイミングの音圧に対して、一定以上高い音圧を有するタイミングである。ピークタイミングを単にピークと呼ぶこともある。また、あるピークタイミングの音(総合音圧)をピークと呼ぶこともある。
【0064】
<B.装置構成>
【0065】
図2は、本実施の形態に従う音診断システム100が備える構成の一例を示す図である。図2に示される一部または全ての構成は、ハードウェアとして実現されてもよい。また、図2に示される一部の構成は、ソフトウェアとして実現されてもよい。この場合、音診断システム100は、各ソフトウェアを実行するためのプロセッサー(図示せず)と、メモリー(図示せず)と、ストレージ(図示せず)とを備える。
【0066】
音診断システム100は、マイクロフォン(マイク)202と、集音部204と、総合音圧算出部205と、ピーク検出部206と、ピーク分類部208と、周期算出部210とを備える。さらに、音診断システム100は、記憶部212と、部位特定部222と、表示部224とを備える。記憶部212は、周期表214と、モデルパラメータ216と、UI(User Interface)プログラム218とを格納する。
【0067】
ある実施の形態に従うと、診断装置120は、マイクロフォン202、集音部204および表示部224を備える。サーバー110は、総合音圧算出部205と、ピーク検出部206、ピーク分類部208、周期算出部210、記憶部212および部位特定部222を備える。
【0068】
他の実施の形態に従うと、診断装置120は、マイクロフォン202、集音部204、および表示部224に加えて、サーバー110の機能も備えてもよい。この場合、診断装置120は、総合音圧算出部205と、ピーク検出部206、ピーク分類部208、周期算出部210、記憶部212および部位特定部222を備える。
【0069】
マイクロフォン202は、音を電気信号に変換し、当該電気信号を集音部204に出力する。装置130は、複数の音源(駆動部品)を備えることがある。この場合、マイクロフォン202は、複数の音源が発する合成音を拾う。
【0070】
集音部204は、マイクロフォン202から出力された電気信号をデジタル信号に変換して、音データ(サンプリング結果)を生成する。集音部204は、任意のレゾリューションでアナログ信号をデジタル信号である音データに変換する。集音部204は、生成した音データ(サンプリング結果)をピーク検出部206に出力する。
【0071】
総合音圧算出部205は、サンプリング結果の各タイミングに含まれる各周波数の音の総合音圧を算出する。より具体的には、総合音圧算出部205は、サンプリング結果の各タイミングにおいて、各周波数の音圧の総和または平均値を算出する。総合音圧算出部205は、音データに対して短時間フーリエ変換(STFT(Short-Time Fourier Transform))を行う。総合音圧算出部205は、音データに対してSTFTを行うことで、周波数スペクトル波形(スペクトログラム)を得る。総合音圧算出部205は、スペクトログラムから、あるタイミングでの音圧を求めるため、各タイミングで各周波数の値の総和を算出する。または、総合音圧算出部205は、スペクトログラムから、あるタイミングでの音圧を求めるため、各タイミングで各周波数の平均値を算出する。
【0072】
ピーク検出部206は、音圧のピークタイミングを判定する。より具体的には、ピーク検出部206は、各タイミングでの音圧において、隣接する音圧との差が予め設定された値以上のタイミングをピークタイミングとして抽出する。または、ピーク検出部206は、音圧のプロミネンス値(突出度)に基づいて、ピークタイミングを抽出してもよい。ピーク検出部206の詳細については、図4図9を参照して後で説明する。ある実施の形態に従うと、ピーク検出部206は、総合音圧算出部205の機能を兼ね備えていてもよい。
【0073】
ピーク分類部208は、抽出されたピークタイミングを、予め定められたパターン数(クラスタ数)に分類する。ピーク分類部208は、各ピークタイミングを分類するために、そのピークタイミングが持つ周波数とピークプロミネンス値を特徴量として使用する。ピーク分類部208は、機械学習に基づいて、各ピークタイミングの音圧の分類を行ってもよい。一例として、ピーク分類部208は、分教師無し学習のk-meansクラスタリングを用いる。各ピークタイミングの音圧の分類の詳細については、図10および図11を参照して後で説明する。
【0074】
周期算出部210は、分類されたピークタイミングの音圧のカテゴリ(クラスタ)毎に、ピークタイミング同士の間隔を算出する。一例として、周期算出部210は、ピークタイミングの間隔の最頻値を求めることで、周期を算出する。ピークタイミングの間隔は、各ピーク音の発生タイミングの間隔である。他の例として、周期算出部210は、周期の計算には平均値または中央値を用いて、周期を算出する。
【0075】
部位特定部222は、各クラスタにおいて算出したそれぞれの周期と周期表214とを照合する。部位特定部222は、照合により各クラスタの音と周期が近い音を発する部品を探索することで、故障部品を特定する。部位特定部222の処理の詳細については、図12図14を参照して後で説明する。
【0076】
記憶部212は、図3のフローの各処理を行うために必要なデータ、および、ユーザーに提供されるUIのデータを格納する。周期表214は、各駆動部が発する音の周期データを含む。また、周期表214は、クラスタリングされた音データの周期データを含んでもよい。モデルパラメータ216は、クラスタリングに使用される機械学習モデルのパラメータを含む。UIプログラム218は、ユーザーに提供されるUIのデータまたはプログラムである。UIプログラム218は、UIのデザインデータ、各UIコンポーネントに紐付くイベントプログラム等を含む。
【0077】
表示部224は、音データの解析結果と、異音を発生している部品の候補とを表示する。表示部224は、一例として、図12図14に示される画面を診断装置120のディスプレイに表示する。または、表示部224は、他のスマートフォン226、PC(Personal Computer)228またはその他の任意の機器に表示用データを送信してもよい。
【0078】
<C.音診断の手順>
【0079】
図3は、音診断システム100が実行する診断処理の手順の一例を示す図である。図3を参照して、音診断システム100の診断処理の概要について説明する。図3の各処理の詳細については、図4図19を参照して後述する。ある実施の形態に従うと、音診断システム100のプロセッサーは、図3の処理を行うためのプログラムをストレージからメモリーに読み込んで、当該プログラムを実行してもよい。他の局面において、当該処理の一部または全部は、当該処理を実行するように構成された回路素子の組み合わせとしても実現され得る。
【0080】
ステップS310において、診断装置120は、マイク(マイクロフォン202)で、診断対象の装置130の音を拾う。より具体的には、診断装置120のマイクロフォン202は、装置130が発する音を拾う。また、集音部204は、音(アナログ信号)をサンプリングした音データ(デジタルデータ)に変換する。
【0081】
ステップS320において、診断装置120は、音データをサーバー110に送信する。ある実施の形態において、診断装置120がサーバー110の機能を兼ね備える場合、音診断システム100は、ステップS320の処理を実行しなくてもよい。
【0082】
ステップS330において、サーバー110は、取得した音データに対して、STFTを実行する。ステップS340において、サーバー110は、STFTの結果、スペクトログラムを取得する。一例として、サーバー110は、図4に示されるようなスペクトログラム400を取得する。
【0083】
ステップS350において、サーバー110は、スペクトログラム中のある時間(タイミング)毎の各周波数の音圧の総和(総合音圧)を算出する。または、サーバー110は、スペクトログラム中のある時間(タイミング)毎の各周波数の音圧の平均値を算出する。一例として、サーバー110は、図6の示されるようなデータ600を取得する。データ600は、スペクトログラム400中のある時間(タイミング)毎の各周波数の音圧の総和または平均値を示す情報を含む。
【0084】
ステップS360において、サーバー110は、データ600から、総合音圧のピークタイミングを抽出する。ピークタイミングは、総合音圧のグラフにおいて、前後のタイミングと比較して一定以上大きい総合音圧を有するタイミングである。言い換えれば、総合音圧のグラフ内で大きく凸となっている部分である。一例として、サーバー110は、図7に示されるようなピークタイミングのピーク値情報700を取得する。
【0085】
ステップS370において、サーバー110は、ピーク値情報700に含まれる各ピークタイミングの周波数および/または音圧に基づいて、各ピークタイミングをクラスタリングする。
【0086】
ステップS380において、サーバー110は、同一クラスタ内のピークタイミングの周期性を解析し、当該クラスタに分類された音に近い音を発する部品を推定する。サーバー110は、各ピークタイミングの発生タイミングから、ピークタイミングの周期性を算出し得る。例えば、サーバー110は、記憶部212に予め保存されている部品毎の音データ(音圧、周期等)と、各クラスタの解析結果とを比較する。これにより、サーバー110は、各クラスタに分類された音の発生源である部品を推定し得る。サーバー110は、解析結果を診断装置120に送信する。
【0087】
ステップS390において、診断装置120は、受信した診断結果をディスプレイ(図示せず)に表示する。ある実施の形態に従うと、診断装置120は、解析結果を他の装置(PCまたはスマートフォン等)に転送してもよい。
【0088】
すなわち、音診断システム100は、集音部204により、装置130が発する音を取得する。集音部204は、その際、音のアナログ信号をデジタル信号(サンプリング結果)に変換し得る。音診断システム100は、周期算出部210により、音のサンプリング結果を分析し、サンプリング結果の各タイミングに含まれる各周波数の音の総合音圧を算出する(図4参照)。音診断システム100は、ピーク検出部206により、総合音圧から複数のピークタイミングを抽出する(図7参照)。音診断システム100は、ピーク分類部208により、複数のピークタイミングをクラスタリングする(図11参照)。音診断システム100は、周期算出部210により、周波数および/または各総合音圧に基づいて、各クラスタに含まれる音の周期を算出する(図11参照)。音診断システム100は、部位特定部222(部位特定部)により、各クラスタに含まれる音の周期のいずれかと近い周期の音を発する1つ以上の部品を特定する(図15図17参照)。音診断システム100は、表示部224により、特定された1つ以上の部品を表示する(図13および図14参照)。
【0089】
<D.各手順の詳細>
【0090】
次に、図4図19を参照して、図3のフローの各処理の詳細について説明する。より具体的には、図4図19を参照して、ステップS330~S390までの処理について詳細に説明する。
【0091】
図4は、スペクトログラム400の一例を示す図である。スペクトログラム400は、ステップS330,S340にて取得されるデータの一例を示す。音診断システム100は、装置130の音データに対してSTFTを行うことで、スペクトログラム400を取得する。音データは、複数の周波数成分を含む。すなわち、音データは、異なる周波数を持つ複数の音の集合である。これ以降、「周波数または周波数成分」は、ある周波数の音、もしくは、ある周波数の音データを示すこともある。スペクトログラム400は、各周波数成分の音圧分布の時間変化を示す。言い換えれば、スペクトログラム400は、装置130の各部品が発する様々な音の情報を含んでいる。
【0092】
下記のように、音診断システム100は、スペクトログラム400から各周波数の音圧の総和または平均値を算出する。これにより、音診断システム100は、サンプリング結果の各タイミングに含まれる各周波数の音の総合音圧(総和または平均値)を算出する。
【0093】
図5は、取得されるスペクトログラムの解析処理の一例を示す図である。図5の処理は、ステップS350の処理に対応する。概念図510は、スペクトログラム400を概念化したものである。概念図510の縦軸は周波数を示す。概念図510の横軸は、時間を示す。グラフ内の数字は、あるタイミングにおける周波数ごとの音圧を示す。概念図510を例に説明すると、タイミングaの周波数45Hzの音圧は2である。同様に、タイミングaの周波数10Hzの音圧は1である。
【0094】
ここで、タイミングaに着目する。タイミングaの列511では、下から1,空白,空白,2,2,2,2と表示されている。これは、タイミングaにおいて、10Hzの音圧は1であり、15,20,25Hzの音は発生しておらず、30,35,40,45Hzの音圧は2であることを示している。
【0095】
サーバー110は、タイミングaにおける総合音圧を算出する。具体的には、サーバー110は、タイミングaにおける各周波数成分の音圧を合算する。前述のように、総合音圧(総合的な音の強さ)は、スペクトログラムのあるタイミングにおける各周波数成分の音圧の総和または平均値である。概念図510を例に説明すると、サーバー110は、「1+2+2+2+2=9」という計算をすることにより、タイミングaの総合音圧「9」を算出する。ある実施の形態に従うと、サーバー110は、タイミングaの音圧の平均値を算出してもよい。同様に、サーバー110は、各タイミング(タイミングb,c,d等)において、総合音圧を算出する。サーバー110は、このような計算をすることで、データ600を取得する。
【0096】
ある実施の形態に従うと、サーバー110は、頻繁に発生する周波数成分(例えば、1000Hz以上)の音圧に係数を掛けてもよい。サーバー110は、過去の取得した音データから、周波数ごとの発生頻度を算出し得る。すなわち、サーバー110(総合音圧算出部205)は、各周波数の音の発生頻度に応じて、各周波数の音の加算値を調整し得る。
【0097】
他の実施の形態に従うと、サーバー110は、保守対象の部品以外から発生する周波数を除いて、あるタイミングにおける周波数ごとの音圧を合算してもよい。例えば、保守対象の部品から500Hz以下の周波数成分が発生しない場合、500Hz以下の周波数成分は、単なるノイズであると考えられる。そのため、サーバー110は、500Hz以下の周波数成分を除いて、あるタイミングにおける周波数ごとの音圧を合算する。
【0098】
上述のように、サーバー110は、振幅ではなくスペクトログラムから音圧を求める。これにより、サーバー110は、周波数帯の重要度(周波数成分の発生頻度による重みづけ)を考慮した処理を実行できる。また、振幅のピークよりも音圧のピークのほうが明確に表れやすいため、サーバー110は、ピークタイミングの検出処理をより容易に行い得る。
【0099】
グラフ520は、タイミングごと総合音圧の相対値(相対総合音圧)を示す。例えば、タイミングaの音の強さは9である。そして、タイミングaの音の強さは、前後のタイミングの音の強さと比較して、平均8高い。そのため、グラフ520のタイミングaにおける縦軸の値は8である。
【0100】
図6は、時間毎の各周波数の音圧の総和のデータ600の一例を示す図である。データ600は、ステップS350の処理が実行されることにより得られるデータの一例を示す。前述のように、サーバー110は、スペクトログラム400のタイミングごとに、各周波数の音圧を求める。そして、サーバー110は、スペクトログラム400のタイミングごとに、各周波数の音圧の合計値(総合音圧)を算出する。こうすることで、サーバー110は、データ600を得る。データ600は、総合音圧の連続値を示す。
【0101】
図7は、ピーク値情報700の一例を示す図である。ピーク値情報700は、ステップS350の処理が実行されることにより得られるデータの一例を示す。サーバー110(ピーク検出部206)は、あるタイミングにおける総合音圧と、隣接するタイミングの総合音圧とを比較する。あるタイミングにおける総合音圧が、隣接するタイミングの総合音圧よりも、予め定められた閾値以上に高いとする。この場合、サーバー110(ピーク検出部206)は、当該あるタイミングをピークタイミングと判定する。サーバー110(ピーク検出部206)は、そのときの音の強さをピーク値として取得する。ピーク値情報700の「×」がピーク値を示す。これ以降、ピークタイミングの値を「ピーク値またはピーク音圧」と呼ぶこともある。
【0102】
概念図510を例に、ピークタイミングの求め方についてより詳細に説明する。タイミングaの音の強さは9である。タイミングaの1つ前のタイミングの音の強さは1である。タイミングaの1つ後のタイミングの音の強さは1である。サーバー110(ピーク検出部206)は、タイミングaの音の強さと、タイミングaの前後の音の強さとの差分を求める。当該差分は、「9-1=8」であり、タイミングaの前後のタイミングに対する相対値である。
【0103】
仮に、予め定められた閾値が0であるとする。この場合、タイミングaの音の強さ「9」は、予め定められた閾値「0」を超えている。そのため、サーバー110(ピーク検出部206)は、タイミングaをピークタイミングであると判定する。そして、サーバー110(ピーク検出部206)は、タイミングaの音の強さをピーク値またはピーク音圧であると判定する。なお、ここまでの説明から、グラフ520は、ピークとして選ばれた音の強さを示しているとも言える。音診断システム100は、各タイミングの内、演算によってあるタイミングにおける総合音圧を算出する。また、音診断システム100は、あるタイミングの前後のタイミングの総合音圧を算出する。そして、音診断システム100は、あるタイミングの総合音圧と、その前後のタイミングの総合音圧との差分を比較する。音診断システム100は、当該差分に基づいて、あるタイミングがピークタイミングであるか否かを判定する。言い換えれば、音診断システム100は、当該差分が予め定められた閾値以上(一定以上)であることに基づいて、あるタイミングをピークタイミングとして抽出する。
【0104】
図8は、あるスペクトログラムを概念的に示した図である。図8を参照して、ピークタイミングを検出するために、図7のように相対的音圧(相対的な音の強さ)を算出する理由について説明する。
【0105】
例えば、装置130のある部品が故障して異音を発しているとする。この場合、故障した部品は、周期的に一瞬の異音を発する。一方で、故障した部品は、正常な駆動音も発している。そのため、故障した部品は、あるタイミングにおいて異音だけを発し、別のタイミングにおいて異音および正常音の両方を発することがある。
【0106】
故障した部品は、あるタイミング801において、異常音810(音圧8)をだけを発している。一方、故障した部品は、別のタイミング802において、異常音810(音圧8)と正常音820(音圧9)とを発している。このような場合、サーバー110は、図5および図6を参照して説明したように、各タイミング801,802における総合音圧を求めたとする。この場合、タイミング801の総合音圧は「8」になる。また、タイミング802の総合音圧は「17(8+9)」になる。
【0107】
タイミング801,802は、いずれも異音を発生している。そのため、サーバー110は、後述するクラスタリングにおいて、タイミング801,802の音を同じクラスタに分類することが望ましい。しかしながら、タイミング801,802は、互いに総合音圧が大きく異なる。そのため、サーバー110は、タイミング801,802の音を同じクラスタに分類できない可能性がある。
【0108】
そこで、サーバー110は、部品は正常音をある程度長時間発するという特徴を利用する。例えば、故障した部品は、あるタイミングにおいて、異常音および正常音を発したとする。この場合、その前後において、故障した部品は、正常音のみを発している可能性が高い。図8の例では、正常音820は連続して発生している。サーバー110は、異常音および正常音が発生したタイミングの総合音圧と、その前後の音圧(正常音のみが発生したタイミングの総合音圧)とを比較する。そして、サーバー110は、あるタイミングの総合音圧とその前後の音圧との差分、すなわち、相対的音圧を算出し得る。図8の例では、タイミング802において、相対的音圧「8」が算出されている。こうすることで、サーバー110は、異常音および正常音の組み合わせから、異音のみを抽出し得る。すなわち、サーバー110は、あるタイミングにおける総合音圧と、そのタイミングの前後における総合音圧とを比較することで、異音成分のみを抽出し得る。
【0109】
図9は、総合音圧のピークのプロミネンスの一例を示す図である。サーバー110は、ピークのプロミネンス値(突出度)に基づいて、総合音圧のピークタイミングを検知してもよい。プロミネンスは、あるピークと他ピークとの相対的な位置によって、各ピークの突出度を計算する方法である。
【0110】
プロミネンスの具体的な算出方法は、次の通りである。まず、あるピーク(ピークタイミング)に着目する。次に、当該ピークの水平線がより高いピークと交差するまでもしくは信号の左右端(グラフ端)に到達するまで、当該水平線を左右に延ばす。次に、水平線が延長された区間の右側および左側において最小値の信号を見つける。次に、右側の区間の最小値および左側の区間の最小値のうち、大きい方を基準値に設定する。次に、基準レベルより大きいピークをプロミネンス値に設定する。
【0111】
プロミネンスを用いた計算は、環境音を含むより大きい値を持つピークタイミングであっても、周囲からの突出度合(周囲との相対的なピークの高さ)で測定される。このため、プロミネンスを用いた計算は、環境音を含まないピークタイミングと似た値を用いてピークを検出できる。そのため、後述するクラスタリングにおいて、同じプロミネンス値のピークは同じカテゴリに分類されやすくなる。
【0112】
ある実施の形態に従うと、サーバー110は、図6および図7のいずれの手順においても、ピークを検出後、一定期間はピーク検出を行わなくてもよい。これにより、サーバー110は、ノイズによってピークがごく短い間に発生した場合に対応し得る。
【0113】
図10は、ピーク分類部208によるクラスタリング(分類)の手順の一例を示す図である。ピーク分類部208は、抽出されたピークを、予め定められたクラスタ(グループ)数に分類する。例えば、予め定められたクラスタ数が4であれば、ピーク分類部208は、抽出されたピークを4つのクラスタに分類する。ピーク分類部208は、各ピークを分類する際の特徴量として、そのピークタイミングが持つ周波数およびピークプロミネンス値を用いる。
【0114】
対象部品のピークプロミネンス値は、周辺環境の影響を受けにくいことが実験的に分かっている。そのため、周波数およびピークプロミネンス値の両方を特徴量として使用する分類は、周波数のみを特徴量として用いた分類よりも精度が高くなる。周波数およびピークプロミネンス値の両方を特徴量として使用する分類では、ピークプロミネンス値が近いピーク点同士は、周波数が異なっていても同じクラスタに分類されやすい。
【0115】
ピーク分類部208は、機械学習を用いた分類処理を行ってもよい。この場合、ピーク分類部208は、機械学習を用いたクラスタリングにより、複数のピークタイミングの各々を各クラスタのいずれかに割り振る。図10の例では、ピーク分類部208は、教師無し学習のk-meansクラスタリングを用いる。ある実施の形態に従うと、ピーク分類部208は、k-means以外の非階層的手法を用いても、階層的手法を用いてもよい。
【0116】
図10を例にk-meansクラスタリングを説明する。実際には、ピーク分類部208は、周波数およびピークプロミネンス値を結合した多次元クラスタリングを実行する。ここでは、説明を簡潔にするために、2次元のk-meansクラスタリングを説明する。以下の例において、ピーク分類部208は、8個のデータを2つのクラスタに分類する。
【0117】
ステップS1010において、ピーク分類部208は、クラスタリングのデータを与えられる。ピーク分類部208は、8個のデータ(ピークタイミング)を与えられている。
【0118】
ステップS1020において、ピーク分類部208は、与えられたデータをランダムにクラスタリングする。ピーク分類部208は、4つのデータをクラスタ0に分類し、残りの4つのデータをクラスタ1に分類する。次に、ピーク分類部208は、各クラスタの点から、各クラスタ0,1の重心を算出する。
【0119】
ステップS1030において、ピーク分類部208は、各データを再クラスタリングする。より具体的には、ピーク分類部208は、ステップ1020で求めた各重心と各点との距離を計算する。次に、ピーク分類部208は、各点を距離が一番近い重心のクラスタに分類し直す。
【0120】
ステップS1040において、ピーク分類部208は、各点から再度クラスタの重心を計算する。ピーク分類部208は、重心の位置が収束したと判断した場合処理を終了する。そうでない場合、ピーク分類部208は、重心の位置が収束するまで、各点のクラスタリングをやり直す。
【0121】
ある実施の形態に従うと、ピーク分類部208は、ユーザーからクラスタ数(グループ数)を受け付けてもよい。この場合、ピーク分類部208は、ユーザーによって指定されたクラスタ数に各点を分類する。他の実施の形態に従うと、ピーク分類部208は、エルボー法によるクラスタ内の残差平方和(SSE)指標を用いて、クラスタ数を自動で調整してもよい。
【0122】
また、他の実施の形態に従うと、ピーク分類部208は、クラスタリング手法について、kmeansを応用したkmeans++、カーネル密度推定などのノンパラメトリック推定を用いた分類手法を用いてもよい。
【0123】
また、他の実施の形態に従うと、ピーク分類部208は、特徴量として、各ピークタイミングにおける周波数のみを用いてもよい。また、ピーク分類部208は、特徴量として、ピークの相対的な高さ(相対的音圧)またはプロミネンスのみを用いてもよい。
【0124】
また、他の実施の形態に従うと、ピーク分類部208は、クラスタリングの実行後に、後処理として、プロミネンスを用いて各点を再分類してもよい。例えば、ピーク分類部208は、異なるクラスタに分類されたがプロミネンス値が類似している点同士を、同一クラスタに再分類してもよい。
【0125】
図11は、ピークタイミングのクラスタリング結果の一例を示す図である。図11の例では、ピーク分類部208は、エルボー法により最適なクラスタ数を求め、kmeansで各ピークタイミングをクラスタリングしている。図11を参照すると、各ピークタイミングは、4つのクラスタ0~3に分類されていることが分かる。なお、ここまでの説明において、各ピークタイミングが各クラスタに分類されたと説明している。これは、各ピークタイミングの原因となる音が各クラスタに分類されたとも言える。そのため、これ以降、分類されたデータを示すために、「クラスタ毎のピークタイミング」、「クラスタ毎のピーク」、「クラスタ毎の音」のように呼ぶこともある。
【0126】
次に、周期算出部210の処理について説明する。周期算出部210は、分類されたピークタイミングのクラスタ毎に、ピーク同士の間隔を算出する。一例として、周期算出部210は、ピークタイミングの間隔の最頻値を求めることで、各クラスタの周期を算出してもよい。他の例として、周期算出部210は、ピークタイミングの間隔の平均値または中央値に基づいて、各クラスタの周期を算出してもよい。すなわち、周期算出部210は、同一クラスタ内の隣接するピークタイミングの間隔に基づいて、クラスタごとの周期を算出する。クラスタ毎の周期とは、クラスタに含まれる各ピークタイミングの発生周期を示す。
【0127】
実際のクラスタは、ノイズまたは騒音によって生じたピークタイミングを含むことがある。そのため、周期算出部210は、各クラスタの周期(統計値)の算出の際に、ピークタイミングの間隔の分布を予め想定してもよい。この場合、周期算出部210は、予め想定されたピークタイミングの間隔から一定以上離れた値を外れ値と見なして、当該外れ値を周期計算から除外し得る。すなわち、周期算出部210は、誤検出または誤分類と推定されるピークタイミングを除いて周期を算出し得る。
【0128】
また、クラスタによっては、ピークタイミングの間隔のバラつきが一定以上となることがある。この場合、周期算出部210は、ピークタイミングが等間隔で発生していないことに基づいて、当該クラスタを抽出対象から除外し得る。ピークタイミングが等間隔で発生していないということは、当該クラスタに分類された音は、回転駆動部品が発した音ではない可能性が高いためである。
【0129】
部位特定部222は、クラスタ毎の音の周期と、周期表214内の部品ごとの周期とを照合する。部位特定部222は、クラスタ毎の音の周期と近い周期の音を発する部品を検索する。例えば、クラスタ0の音の周期と部品Xの音の周期とが近い場合、部位特定部222は、クラスタ0の音の発生源としてまたはその候補として、部品Xを選択する。ある実施の形態に従うと、部位特定部222は、あるクラスタの音の発生源の候補として、複数の部品を選択してもよい。例えば、クラスタ0の音の周期と、部品X,Yの音の周期とが近い場合、クラスタ0の音(異音)の発生源の候補として、部品X,Yを選択し得る。
【0130】
一例として、部位特定部222は、数1の式により、異音候補となる部品pを判定し得る。ある実施の形態に従うと、部位特定部222は、一定値以上大きいまたは小さい周期をもつクラスタを除外して、数1の式を計算し得る。なぜならば、一定以上の周期または一定以下の周期の音は、駆動部品が発した音ではない可能性が高いためである。
【数1】
【0131】
図12は、表示部224に表示される第1の画面1200の例を示す図である。ある実施の形態に従うと、第1の画面1200は、診断装置120のディスプレイに表示される。他の実施の形態に従うと、表示部224は、第1の画面1200のデータを、他の装置(スマートフォン226、PC228等)に送信する。他の装置は、ディスプレイに第1の画面1200のデータを表示する。第1の画面1200は、UIプログラム218によって生成される。
【0132】
第1の画面1200は、音診断の実行前の画面である。第1の画面1200は、解析に必要なパラメータ設定、録音及び解析の実行ボタン等を含む。ユーザー(サービスマン等)は、第1の画面1200において、音ファイル(集音した音データ)を選択して、解析ボタンを押すことで、解析結果を取得し得る。解析ボタンが押されると、第1の画面1200は、第2の画面1300に遷移する。
【0133】
図13は、表示部224に表示される第2の画面1300の例を示す図である。ある実施の形態に従うと、第2の画面1300は、診断装置120のディスプレイに表示される。他の実施の形態に従うと、表示部224は、第2の画面1300のデータを、他の装置(スマートフォン226、PC228等)に送信する。他の装置は、ディスプレイに第2の画面1300のデータを表示する。第2の画面1300は、UIプログラム218によって生成される。
【0134】
第2の画面1300は、音ファイル(集音した音データ)の解析結果を示す画面である。第2の画面1300は、各クラスタの周期と、各クラスタの音の周期に近い周期の音を発する部品名とが表示される。第2の画面1300は、各クラスタの音の周期に近い周期の音を発する部品が複数ある場合、複数の部品名を表示してもよい。
【0135】
図14は、表示部224に表示される第2の画面1300の続きを示す図である。診断装置120またはその他の装置は、ユーザーからのスクロール操作を受け付けることにより、図13の画面および図14の画面を連続して表示し得る。ある実施の形態に従うと、図13の画面と図14の画面は別々に表示されてもよい。この場合、診断装置120またはその他の装置は、ユーザーからの画面またはタブ切替操作を受け付けることにより、図13の画面および図14の画面を繰り替え得る。第2の画面1300は、クラスタの分類結果および異音の発生源の候補である部品名に加えて、スペクトログラム等の任意の情報を含み得る。
【0136】
<E.ノイズ除去および故障部品の推定の例>
【0137】
次に、図15図19を参照して、各クラスタ内の音からノイズを除去する方法と、故障部品の推定手順とについて詳細に説明する。
【0138】
図15は、周期表214の一例を示す図である。周期表214は、装置130が備える駆動部品ごとの周期情報を含む。ある実施の形態に従うと、周期表214は、リレーショナルデータベースのテーブルとして表現されてもよい。また、周期表214は、JSON(JavaScript(登録商標) Object Notation)等の他の任意のデータ形式で表現されてもよい。部位特定部222は、周期表214と、図17および図19に示されるようなクラスタリングされたピークタイミングの発生周期の計算結果とを照合する。
【0139】
図16は、クラスタリングされたピークタイミングの集合の第1の例を示す図である。図16中のA,B,C,D,E,Fは、同一クラスタに分類されたピークタイミングである。周期算出部210は、ピークタイミングA,B,C,D,E,F間の周期を算出する。当該計算により、図17に示される計算結果1700が得られる。
【0140】
図17は、クラスタリングされたピークタイミングの発生周期の計算結果1700の一例を示す図である。周期算出部210は、隣接するピークタイミングの間隔を算出する。例えば、周期算出部210は、ピークタイミングAおよびB間の間隔「1.01秒」を算出する。次に、周期算出部210は、算出された隣接するピークタイミングの間隔の平均値「1.008秒」を算出する。
【0141】
部位特定部222は、クラスタ内のピークタイミングの間隔の平均値「1.008秒」と、周期表214内の各部品の音の周期とを照らし合わせる。クラスタ内のピークタイミングの間隔の平均値と、周期表214内の各部品の音の周期とが完全一致する可能性は低い。そのため、ある実施の形態に従うと、部位特定部222は、クラスタ内のピークタイミングの間隔の平均値に最も近い周期の音を発する部品を選択する。図12および図17の例だと、部位特定部222は、平均値「1.008秒」に最も近い周期「1.12」の音を発する「定着ギア1」を選択する。
【0142】
他の実施の形態に従うと、部位特定部222は、クラスタ内のピークタイミングの間隔の平均値に最も一定以上近い周期の音を発する1つ以上の部品を選択してもよい。図12および図17の例だと、部位特定部222は、平均値「1.008秒」に近い周期「1.12」の音を発する「定着ギア1」を選択する。また、部位特定部222は、平均値「1.008秒」に近い周期「1.02」の音を発する「定着ベルト」を選択する。
【0143】
図18は、クラスタリングされたピークタイミングの集合の第2の例を示す図である。図18を参照して、ある部品の音のクラスタに、関係ない音(ノイズ)が含まれていた場合に、当該ノイズを除去する手順について説明する。図18中のA,B,C,D,E,F,Gは、同一クラスタに分類されたピークタイミングである。図18の例では、Dは、ノイズ成分である。周期算出部210は、ピークタイミングA,B,C,D,E,F,G間の周期を算出する。当該計算により、図19に示される計算結果1900が得られる。
【0144】
図19は、クラスタリングされたピークタイミングの発生周期の計算結果1900の一例を示す図である。周期算出部210は、隣接するピークタイミングの間隔を算出する。計算結果1900によると、区間C~Dの間隔および区間D~Eの間隔は、他の区間の間隔と比較して明らかに異なる。このように、周期算出部210は、他の区間の値と一定以上ずれている区間をノイズ成分として除去し得る。または、周期算出部210は、他の区間の平均値と一定以上ずれている区間をノイズ成分として除去し得る。その際、周期算出部210は、Dを無視してC~Eの区間を有効データとして採用してもよい。または、周期算出部210は、Dが含まれているC~E区間を無効データとしてもよい。
【0145】
周期算出部210は、周期表214から、検出時間の精度を求めてもよい。例えば、周期表214によると、定着ベルトと定着ギアの差は約10%である。そのため、周期算出部210は、10%を除外の閾値と設定する。周期算出部210は、各区間の間隔の平均値から閾値(例えば10%)以上ずれている区間に含まれるピークタイミングをノイズとして除去し得る。
【0146】
ある実施の形態に従うと、閾値は、ユーザーによって決められてもよいし、固定値であってもよい。また、周期表214内の「1.12秒」より大きい周期は、部品が発する音の周期としては存在しない。周期表214内の「0.42秒」より小さい周期は、部品が発する音の周期としては存在しない。よって、周期算出部210は、このような、部品が発することのない周期の音(ピーク音)をノイズとして除去し得る。すなわち、音診断システム100は、総合音圧から複数のピークタイミングを抽出する際に、監視対象の部品以外から発生する周波数の音を抽出対象から除外し得る。言い換えれば、音診断システム100は、監視対象の部品が発しないであろう周波数の音を抽出対象から除外し得る。
【0147】
一例として、部位特定部222は、あるクラスタ内の各ピークタイミングの間隔が一定以上または一定以下であるか否かを判定する。部位特定部222は、各ピークタイミングの間隔が一定以上または一定以下である場合、あるクラスタに含まれる音を回転部品が発する音でないと判定する。部位特定部222は、各ピークタイミングの間隔が一定以上または一定以下であるクラスタを部品特定処理から排除する。
【0148】
他の例として、部位特定部222は、あるクラスタ内の各ピークタイミングの間隔のバラつきが一定以上であるか否かを判定する。部位特定部222は、あるクラスタ内の各ピークタイミングの間隔のバラつきが一定以上である場合、あるクラスタに含まれる音を回転部品が発する音でないと判定する。部位特定部222は、各ピークタイミングの間隔のバラつきが一定以上であるクラスタを部品特定処理から排除する。
【0149】
次に、周期算出部210は、ノイズ成分Dを除去した状態で算出された隣接するピークタイミングの間隔の平均値を算出する。異常音の発生源の部品を特定する手順は、図17を参照して説明した手順と同様であるため、当該手順の説明は繰り返さない。
【0150】
本明細書では、診断装置120がマイクロフォン202を備える構成について説明したが、本開示の技術の適用例はこれに限られない。ある実施の形態に従うと、診断対象の装置130がマイクロフォンを備えてもよい。この場合、装置130は、音データを診断装置120またはサーバー110に送信する。
【0151】
上記のように、本開示の技術に従う音診断システム100は、スペクトログラム内の各タイミングにおける周波数成分の総和(総合音圧)を算出する。また、音診断システム100は、ピーク間の相対的な高さ(相対的音圧)を求めて、当該相対的な高さに基づいて、ピークを分類し得る。これにより、周波数成分が異なるがピークの相対値が近い成分は、同じクラスタに分類されやすくなる。
【0152】
<F.バリエーション>
【0153】
ある実施の形態において、図2に示される各構成の一部は統合されてもよい。一例として、マイクロフォン202及び集音部204は、取得部として実現されてもよい。また、総合音圧算出部205及びピーク検出部206は、抽出部として実現されてもよい。さらに、ピーク分類部208、周期算出部210及び部位特定部222は、解析部として実現されてもよい。取得部、抽出部及び解析部の少なくとも一部は、ハードウェアにより実現されてもよい。また、取得部、抽出部及び解析部の少なくとも一部は、ハードウェア及びソフトウェアの組み合わせにより実現されてもよい。さらに、また、抽出部及び解析部の少なくとも一部は、ソフトウェアにより実現されてもよい。
【0154】
また、表示部224は、ディスプレイへの解析情報の表示機能、他の装置への解析情報の送信機能又はその両方を備え得る。そのため、表示部224は、出力部であると言える。表示部224は、ハードウェア、ソフトウェアまたはその組み合わせとして実現され得る。表示部224は、ディスプレイ及び/又は通信インターフェイス等のハードウェアを含んでいてもよい。音診断システム100は、取得部、抽出部、解析部及び出力部を備えることにより、図1図19を参照して説明された全ての処理を実現し得る。
【0155】
上記の統合された構成を例に説明すると、音診断システム100は、音診断の対象となる装置130が発する複数の周波数を含む音情報を取得する取得部と、取得部により取得した音情報から、所定期間内の特定の各タイミングに含まれる複数の周波数に対応する複数の音圧に関する情報を抽出する抽出部と、抽出部により抽出された各タイミングにおける複数の音圧に関する情報を解析する解析部と、解析結果を出力する出力部とを備える。
【0156】
音情報は、取得部によって取得された音のデータである。音情報は、アナログ音声データであってもよい。この場合、抽出部は、アナログ音声データのエンコード機能を備え得る。音情報は、デジタル音声データであってもよい。一例として、取得部は、マイクロフォン202で取得した音のエンコード等を行い得る。装置130が発する複数の周波数を含む音情報は、録音された音のサンプリング結果(サンプリング情報)を含み得る。複数の音圧に関する情報を抽出するための所定期間は、音診断システム100に予め設定されている任意の長さの期間であってもよい。例えば、所定期間は、数ミリ秒、数秒、数分等の任意の長さの期間を含み得る。音圧に関する情報は、各周波数の音の総合音圧、各周波数の音の相対的音圧、総合音圧に含まれるピークタイミング等の情報を含み得る。
【0157】
ある局面において、解析部は、抽出部により抽出された各タイミングにおける複数の音圧に関する情報に基づいて、音情報の発現の周期性を解析し得る。一例として、解析部は、音情報に含まれるピークタイミングの発現の周期性を解析し得る。また、解析部は、音情報に含まれるピークタイミングを事前にクラスタリングしてもよい。
【0158】
さらに、解析部は、抽出部により抽出された各タイミングにおける複数の音圧に関する情報に基づいて、音情報の発生源の部品の候補を推定し得る。一例として、解析部は、ある音情報の発現周期と類似した発現周期の音を発生させる部品を特定し得る。ここでのある音情報の発現周期は、ピークタイミングの発現周期であってもよい。
【0159】
より具体的には、抽出部は、総合音圧算出部205及びピーク検出部206を含み得る。総合音圧算出部205は、音情報を分析し、音情報の各タイミングに含まれる各周波数の音の総合音圧を算出する。ピーク検出部206は、総合音圧から複数のピークタイミングを検出する。そのため、複数の音圧に関する情報は、総合音圧及び複数のピークタイミングを含み得る。
【0160】
また、解析部は、ピーク分類部208、周期算出部210及び部位特定部222を含み得る。ピーク分類部208は、複数の音圧に関する情報に含まれる複数のピークタイミングをクラスタリングする。周期算出部210は、周波数および/または各総合音圧に基づいて、各クラスタに含まれる音の周期を算出する。部位特定部222は、各クラスタに含まれる音の周期のいずれかと近い周期の音を発する1つ以上の部品を特定する。
【0161】
ある局面において、音情報の各タイミングに含まれる各周波数の音の総合音圧を算出することは、各タイミングにおいて、各周波数の音圧の総和または平均値を算出することを含んでもよい。他の局面において、総合音圧算出部205は、各周波数の音の発生頻度に応じて、各周波数の音の加算値を調整してもよい。
【0162】
ある局面において、総合音圧から複数のピークタイミングを抽出することは、監視対象の部品以外から発生する周波数の音を抽出対象から除外することを含んでもよい。他の局面において、総合音圧から複数のピークタイミングを抽出することは、各タイミングの内、あるタイミングにおける演算によって求められた総合音圧とあるタイミングの前後における演算によって求められた総合音圧との差分に基づいて、各ピークタイミングを抽出することを含んでもよい。
【0163】
ある局面において、ピーク検出部206は、差分が予め定められた閾値以上の場合に、あるタイミングをピークタイミングとし得る。他の局面において、ピーク検出部206は、ピークタイミングの検出後の一定期間、ピークタイミングの検出を停止し得る。
【0164】
ある局面において、ピーク分類部208は、機械学習を用いたクラスタリングにより、複数のピークタイミングの各々を各クラスタのいずれかに割り振ってもよい。他の局面において、ピーク分類部208は、クラスタ数を自動決定してもよい。
【0165】
ある局面において、周期算出部210は、同一クラスタ内の隣接するピークタイミングの間隔に基づいて、クラスタごとの周期を算出してもよい。他の局面において、周期算出部210は、誤検出または誤分類と推定されるピークタイミングを除いて周期を算出する。
【0166】
ある局面において、部位特定部222は、あるクラスタ内の各ピークタイミングの間隔が一定以上または一定以下であることに基づいて、あるクラスタに含まれる音を回転部品が発する音でないと判定し、あるクラスタを部品特定処理から排除してもよい。他の局面において、部位特定部222は、あるクラスタ内の各ピークタイミングの間隔のバラつきが一定以上であることに基づいて、あるクラスタに含まれる音を回転部品が発する音でないと判定し、あるクラスタを部品特定処理から排除してもよい。
【0167】
ある局面において、装置130は、複数の駆動源を備える画像形成装置であってもよい。この場合、複数の駆動源は、定着ベルト、排紙ローラー、給紙ローラーおよび定着ギアのいずれかを駆動させ得る。
【0168】
本明細書において、タイミングとは、時系列の中の一瞬の点だけでなく任意の長さの時間(期間)を含み得る。一例として、音診断システム100は、1μ秒毎ごとに区切られた音情報を解析し得る。この場合、あるタイミングとは、ある1μ秒の期間を意味する。このように、タイミングは、1μ秒、1ミリ秒等の任意の期間であってもよい。ある期間(例えば、1μ秒の期間)内の音圧は、例えば、その期間内の音圧の平均値又は中央値であってもよい。
【0169】
以上説明した通り、本開示の技術に従う音診断システム100は、装置130が発する複数の周波数を含む音情報を取得する。また、音診断システム100は、取得した音情報から、所定期間内の特定の各タイミングに含まれる複数の周波数に対応する複数の音圧に関する情報を抽出する。さらに、音診断システム100は、抽出された各タイミングにおける複数の音圧に関する情報を解析し、その解析結果を出力する。こうすることで、診断対象の装置130から得られる音情報が複数の周波数を含む場合でも、音診断システム100は、音情報を適切に解析し得る。
【0170】
今回開示された実施の形態は全ての点で例示であって制限的なものではないと考えられるべきである。本開示の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内で全ての変更が含まれることが意図される。また、実施の形態および各変形例において説明された開示内容は、可能な限り、単独でも、組合わせても、実施することが意図される。
【符号の説明】
【0171】
100 音診断システム、110 サーバー、120 診断装置、130 装置、202 マイクロフォン、204 集音部、205 総合音圧算出部、206 ピーク検出部、208 ピーク分類部、210 周期算出部、212 記憶部、214 周期表、216 モデルパラメータ、218 プログラム、222 部位特定部、224 表示部、226 スマートフォン、400 スペクトログラム、510 概念図、520 グラフ、600 データ、700 ピーク値情報、810 異常音、820 正常音、1200 第1の画面、1300 第2の画面、1700,1900 計算結果。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19