(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023183077
(43)【公開日】2023-12-27
(54)【発明の名称】制御装置、制御装置の制御方法、及びプログラム
(51)【国際特許分類】
G10L 25/51 20130101AFI20231220BHJP
G10L 25/18 20130101ALI20231220BHJP
G10L 25/24 20130101ALI20231220BHJP
G10L 25/30 20130101ALI20231220BHJP
G01M 99/00 20110101ALI20231220BHJP
G01H 17/00 20060101ALI20231220BHJP
【ＦＩ】
G10L25/51
G10L25/18
G10L25/24
G10L25/30
G01M99/00 Z
G01H17/00 Z
【審査請求】未請求
【請求項の数】12
【出願形態】ＯＬ
(21)【出願番号】P 2022096498
(22)【出願日】2022-06-15
(71)【出願人】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】110001243
【氏名又は名称】弁理士法人谷・阿部特許事務所
(72)【発明者】
【氏名】原田 啓二
【テーマコード（参考）】
2G024
2G064
【Ｆターム（参考）】
2G024CA13
2G024FA01
2G024FA06
2G024FA11
2G064AB02
2G064AB13
2G064BA02
2G064BD02
2G064CC02
2G064CC42
2G064CC43
2G064DD02
(57)【要約】
【課題】音認識の速度を向上させること。
【解決手段】検査対象の動作音を検査する制御装置であって、検査対象の動作音を収音した収音データを取得する取得手段と、収音データを基にスペクトラムデータを生成する第一生成手段と収音データを基にケプストラムデータを生成する第二生成手段と、スペクトラムデータおよびケプストラムデータを合成し、合成データを生成する第三生成手段と、合成データを基に検査対象の動作音に所定の音が含まれるかどうか判定する判定手段と、を備えることを特徴とする。
【選択図】図４
【解決手段】検査対象の動作音を検査する制御装置であって、検査対象の動作音を収音した収音データを取得する取得手段と、収音データを基にスペクトラムデータを生成する第一生成手段と収音データを基にケプストラムデータを生成する第二生成手段と、スペクトラムデータおよびケプストラムデータを合成し、合成データを生成する第三生成手段と、合成データを基に検査対象の動作音に所定の音が含まれるかどうか判定する判定手段と、を備えることを特徴とする。
【選択図】図４
【特許請求の範囲】
【請求項1】
検査対象の動作音を検査する制御装置であって、
前記検査対象の動作音を収音した収音データを取得する取得手段と、
前記収音データを基にスペクトラムデータを生成する第一生成手段と、
前記収音データを基にケプストラムデータを生成する第二生成手段と、
前記スペクトラムデータおよび前記ケプストラムデータを合成し、合成データを生成する第三生成手段と、
前記合成データを基に前記検査対象の動作音に所定の音が含まれるかどうか判定する判定手段と、
を備えることを特徴とする制御装置。
前記検査対象の動作音を収音した収音データを取得する取得手段と、
前記収音データを基にスペクトラムデータを生成する第一生成手段と、
前記収音データを基にケプストラムデータを生成する第二生成手段と、
前記スペクトラムデータおよび前記ケプストラムデータを合成し、合成データを生成する第三生成手段と、
前記合成データを基に前記検査対象の動作音に所定の音が含まれるかどうか判定する判定手段と、
を備えることを特徴とする制御装置。
【請求項2】
前記判定手段は、前記合成データを入力として前記所定の音が含まれるかを検出するように学習された学習済みモデルを用いて前記判定を行うことを特徴とする請求項１に記載の制御装置。
【請求項3】
前記学習済みモデルは、動作音を収音した収音データから生成されたスペクトラムデータおよびケプストラムデータを合成した合成データと、前記合成データに所定の音が含まれるかを示す教師データと、を用いて学習されていることを特徴とする請求項２に記載の制御装置。
【請求項4】
前記第一生成手段は、前記収音データに対し１回フーリエ変換を行うことにより前記スペクトラムデータを生成し、前記第二生成手段は、前記収音データに対し２回フーリエ変換を行うことにより前記ケプストラムデータを取得することを特徴とする請求項１に記載の制御装置。
【請求項5】
前記第三生成手段は、
前記スペクトラムデータの信号成分の強さを時間順に一辺がＮ、もう一辺がＮ／２の行列に並べ替え、
前記ケプストラムデータの信号成分の強さをケフレンシーの数値順に一辺がＮ、もう一辺がＮ／２の行列に並べ替え、
一辺がＮである辺を互いに合わせＮ×Ｎの前記合成データを生成することを特徴とする請求項１に記載の制御装置。
前記スペクトラムデータの信号成分の強さを時間順に一辺がＮ、もう一辺がＮ／２の行列に並べ替え、
前記ケプストラムデータの信号成分の強さをケフレンシーの数値順に一辺がＮ、もう一辺がＮ／２の行列に並べ替え、
一辺がＮである辺を互いに合わせＮ×Ｎの前記合成データを生成することを特徴とする請求項１に記載の制御装置。
【請求項6】
前記所定の音は、機械振動音であることを特徴とする請求項１に記載の制御装置。
【請求項7】
前記機械振動音は、ギアの可動モールド部材同士の嵌合不良により生じる周期性を持った異音であることを特徴とする請求項６に記載の制御装置。
【請求項8】
検査対象の動作音を検査するための制御装置の制御方法であって、
前記検査対象の動作音を示す収音データを取得する取得ステップと、
前記収音データを基にスペクトラムデータを生成する第一生成ステップと、
前記収音データを基にケプストラムデータを生成する第二生成ステップと、
前記スペクトラムデータおよび前記ケプストラムデータを合成し、合成データを生成する第三生成ステップと、
前記合成データを基に前記検査対象の動作音に所定の音が含まれるかどうか判定する判定ステップと、
を備えることを特徴とする制御装置の制御方法。
前記検査対象の動作音を示す収音データを取得する取得ステップと、
前記収音データを基にスペクトラムデータを生成する第一生成ステップと、
前記収音データを基にケプストラムデータを生成する第二生成ステップと、
前記スペクトラムデータおよび前記ケプストラムデータを合成し、合成データを生成する第三生成ステップと、
前記合成データを基に前記検査対象の動作音に所定の音が含まれるかどうか判定する判定ステップと、
を備えることを特徴とする制御装置の制御方法。
【請求項9】
検査対象の動作音を検査するための制御装置において動作することが可能なプログラムであって、前記制御装置を、
前記検査対象の動作音を示す収音データを取得する取得ステップと、
前記収音データを基にスペクトラムデータを生成する第一生成ステップと、
前記収音データを基にケプストラムデータを生成する第二生成ステップと、
前記スペクトラムデータおよび前記ケプストラムデータを合成し、合成データを生成する第三生成ステップと、
前記合成データを基に前記検査対象の動作音に所定の音が含まれるかどうか判定する判定ステップと、
として機能させることを特徴とするプログラム。
前記検査対象の動作音を示す収音データを取得する取得ステップと、
前記収音データを基にスペクトラムデータを生成する第一生成ステップと、
前記収音データを基にケプストラムデータを生成する第二生成ステップと、
前記スペクトラムデータおよび前記ケプストラムデータを合成し、合成データを生成する第三生成ステップと、
前記合成データを基に前記検査対象の動作音に所定の音が含まれるかどうか判定する判定ステップと、
として機能させることを特徴とするプログラム。
【請求項10】
検査対象の動作音を検査する学習済みモデルを作成する制御装置であって、
学習対象の動作音を示す収音データを取得する取得手段と、
前記収音データを基にスペクトラムデータを生成する第一生成手段と、
前記収音データを基にケプストラムデータを生成する第二生成手段と、
前記スペクトラムデータおよび前記ケプストラムデータを合成し、合成データを生成する第三生成手段と、
前記合成データと、前記合成データに所定の音が含まれるかを示す教師データと、を用いて前記所定の音が含まれるかを検出するように前記学習済みモデルを作成する学習手段と、
を備えることを特徴とする制御装置。
学習対象の動作音を示す収音データを取得する取得手段と、
前記収音データを基にスペクトラムデータを生成する第一生成手段と、
前記収音データを基にケプストラムデータを生成する第二生成手段と、
前記スペクトラムデータおよび前記ケプストラムデータを合成し、合成データを生成する第三生成手段と、
前記合成データと、前記合成データに所定の音が含まれるかを示す教師データと、を用いて前記所定の音が含まれるかを検出するように前記学習済みモデルを作成する学習手段と、
を備えることを特徴とする制御装置。
【請求項11】
検査対象の動作音を検査する学習済みモデルを作成する制御装置の制御方法であって、
学習対象の動作音を示す収音データを取得する取得ステップと、
前記収音データを基にスペクトラムデータを生成する第一生成ステップと、
前記収音データを基にケプストラムデータを生成する第二生成ステップと、
前記スペクトラムデータおよび前記ケプストラムデータを合成し、合成データを生成する第三生成ステップと、
前記合成データと、前記合成データに所定の音が含まれるかを示す教師データと、を用いて前記所定の音が含まれるかを検出するように前記学習済みモデルを作成する学習ステップと、
を備えることを特徴とする制御装置の制御方法。
学習対象の動作音を示す収音データを取得する取得ステップと、
前記収音データを基にスペクトラムデータを生成する第一生成ステップと、
前記収音データを基にケプストラムデータを生成する第二生成ステップと、
前記スペクトラムデータおよび前記ケプストラムデータを合成し、合成データを生成する第三生成ステップと、
前記合成データと、前記合成データに所定の音が含まれるかを示す教師データと、を用いて前記所定の音が含まれるかを検出するように前記学習済みモデルを作成する学習ステップと、
を備えることを特徴とする制御装置の制御方法。
【請求項12】
検査対象の動作音を検査する学習済みモデルを作成する制御装置において動作することが可能なプログラムでであって、前記制御装置を
学習対象の動作音を示す収音データを取得する取得手段と、
前記収音データを基にスペクトラムデータを生成する第一生成手段と、
前記収音データを基にケプストラムデータを生成する第二生成手段と、
前記スペクトラムデータおよび前記ケプストラムデータを合成し、合成データを生成する第三生成手段と、
前記合成データと、前記合成データに所定の音が含まれるかを示す教師データと、を用いて前記所定の音が含まれるかを検出するように前記学習済みモデルを作成する学習手段と、
として機能させることを特徴とするプログラム。
学習対象の動作音を示す収音データを取得する取得手段と、
前記収音データを基にスペクトラムデータを生成する第一生成手段と、
前記収音データを基にケプストラムデータを生成する第二生成手段と、
前記スペクトラムデータおよび前記ケプストラムデータを合成し、合成データを生成する第三生成手段と、
前記合成データと、前記合成データに所定の音が含まれるかを示す教師データと、を用いて前記所定の音が含まれるかを検出するように前記学習済みモデルを作成する学習手段と、
として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、音認識における技術に関する。
【背景技術】
【0002】
従来、ニューラルネットワークを用いた音声認識装置が提案されている。特許文献１では、音声データから、音声の特徴を表すスペクトラムデータおよびケプストラムデータを生成し、それらを学習データ、もしくは教師データとするニューラルネットワークを利用した音声認識装置が提案されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開平０８－２２７４１０号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、特許文献１では、スペクトラムデータで判別できるがケプストラムデータで判別できない音声、あるいはその反対のような音声を認識する場合、それぞれのデータから推論を行う必要がある。即ち、スペクトラムデータまたはケプストラムデータを一つずつニューラルネットワークに入力し、その両方の出力から結果を判定する必要がある。
【0005】
そこで、本発明は、音認識の速度を向上させることを目的とする。
【課題を解決するための手段】
【0006】
本発明の一様態に係る制御装置は、検査対象の動作音を検査する制御装置であって前記検査対象の動作音を収音した収音データを取得する取得手段と、前記収音データを基にスペクトラムデータを生成する第一生成手段と、前記収音データを基にケプストラムデータを生成する第二生成手段と、前記スペクトラムデータおよび前記ケプストラムデータを合成し、合成データを生成する第三生成手段と、前記合成データを基に前記検査対象の動作音に所定の音が含まれるかどうか判定する判定手段と、を備えることを特徴とする。
【発明の効果】
【0007】
本発明によれば、音認識の速度を向上させることができる。
【図面の簡単な説明】
【0008】
【図1】システムの概要を示す図である。
【図2】振動音検査装置のハードウェア構成を示す図である。
【図3】振動音検査装置のソフトウェア構成を示す図である。
【図4】機械振動音検査のフローチャートである。
【図5】収音データを示す図である。
【図6】収音データを基に作成したスペクトラムデータを示す図である。
【図7】収音データを基に作成したケプストラムデータを示す図である。
【図8】合成データを示す図である。
【図9】学習モデルを示す図である。
【図10】推論の流れを示す図である。
【発明を実施するための形態】
【0009】
＜実施形態１＞
本実施形態は、音認識を用いた装置の例として、マルチファンクションインクジェットプリンタ（以下、ＭＦＰ）生産工場において組み立て完了後の機械振動音検査を行う機械振動音検査装置について説明する。機械振動音とは、ギアなどの可動モールド部材同士の嵌合不良により生じる周期性を持った異音のことである。
本実施形態は、音認識を用いた装置の例として、マルチファンクションインクジェットプリンタ（以下、ＭＦＰ）生産工場において組み立て完了後の機械振動音検査を行う機械振動音検査装置について説明する。機械振動音とは、ギアなどの可動モールド部材同士の嵌合不良により生じる周期性を持った異音のことである。
【0010】
図１は本実施形態における振動音検査システムの概要を示す図である。本システムは、機械振動音検査装置（制御装置）１００、機械振動音検査装置１００と接続され動作音を取得するマイクロフォン（以下、マイクと呼ぶ）１０１、および振動音検査の検査対象であるＭＦＰ１０２を含んでいる。ＭＦＰ１０２から動作音を発生させ、マイクロフォン１０１にて収音し、収音データを用いて機械振動音検査装置において音認識を行い、異音検出を行うためのシステムである。
【0011】
図２は、機械振動音検査装置１００のハードウェアの主要な構成を示す図である。機械振動音検査装置１００は、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、ＧＰＵ（グラフィックプロセッシングユニット）２０４、およびＧＰＵメモリ２０５を備えている。また、機械振動音検査装置１００は、ハードディスク装置２０６、操作部２０７、マイク１０１、アンプ２０８、およびネットワークインターフェース２０９を備えている。
【0012】
ＣＰＵ２０１はメインボード全体を制御している。ＲＯＭ２０２は電源の供給がない状態でもデータを保持しておくことができるメモリのことである。ＲＡＭ２０３は、ＣＰＵ２０１がワークメモリとして使用する。また、機械振動音検査装置１００は外部に、ハードディスク装置２０６、または操作部２０７等を接続することが可能である。ネットワークインターフェース２０９は、ＬＡＮ８により外部ネットワークと通信を行うためのインターフェイスである。
【0013】
機械振動音検査装置１００は、ＧＰＵ２０４と、ＧＰＵ２０４がワークメモリとして使用するＧＰＵメモリ２０５と、を含んでいる。ＧＰＵ２０４は、各種演算処理をＣＰＵ２０１の代わりに実行させることが可能である。ＧＰＵ２０４は、データをより多く並列処理することで効率的な演算を行うことができる。そのため、機械学習を用いた推論のような処理コストのかかる処理を行う場合にはＧＰＵ２０４で処理を行うことが有効である。また、ＣＰＵのような汎用的な用途にも使用することができる。本実施形態においてＧＰＵ２０４は、音認識の学習または推論等に使用される。
【0014】
本実施形態においてＣＰＵ２０１には、マイク１０１にて取得しアンプ２０８を用いて増大させた収音データに対し、フーリエ変換を行うためのＦＦＴ演算処理回路が備えられている。収音データはフーリエ変換によって音解析、音認識を行うためのデータに変換される。なお、ＦＦＴ演算処理回路はＧＰＵ２０４が備えていてもよく、収音データのフーリエ変換はＣＰＵ２０１、ＧＰＵ２０４のいずれが行ってもよい。
【0015】
図３は機械振動音検査装置１００のソフトウェア構成を説明する図である。機械振動音検査装置１００は、収音データ取得部３０１、スペクトラムデータ生成部３０２、ケプストラムデータ生成部３０３、データ合成部３０４、および機械振動音判定部３０５を備える。
【0016】
収音データ取得部３０１は、マイク１０１が取得しアンプ２０８によって増大させた収音データを取得する。スペクトラムデータ生成部３０２は、収音データ取得部３０１によって取得した収音データに対し、ＦＦＴ演算処理回路を用いて１回フーリエ変換を行い、スペクトラムデータを生成する。
【0017】
ケプストラムデータ生成部３０３は、スペクトラムデータ生成部３０２によって生成したスペクトラムデータに対し、１回フーリエ変換を行うことでケプストラムデータを生成する。即ち、ケプストラムデータは、収音データ取得部３０１によって取得した収音データに対し、２回フーリエ変換したデータである。スペクトラムデータおよびケプストラムデータはいずれも収音データの解析をする際に用いられる。本実施形態においては、スペクトラムデータまたはケプストラムデータの個々のデータからのみ判別可能な機械振動音を判別するために両者のデータを用いて機械振動音検査を行う。
【0018】
データ合成部３０４は、スペクトラムデータ生成部３０２およびケプストラムデータ生成部３０３において生成したスペクトラムデータおよびケプストラムデータを合成し合成データを生成する。合成の処理の詳細は後述する。また、データ合成部３０４は、合成データを機械振動音判定部３０５に送信する。
【0019】
機械振動音判定部３０５は、合成データに機械振動音が含まれるかどうか判定する。本実施形態においては、判定に音認識の推論を用いる。以下、推論を用いた機械振動音検査のフローを説明していく。
【0020】
図４は機械振動音検査フローを示すフローチャートである。本実施形態において機械振動音検査装置は、ＭＦＰ１０２の製造工場において、任意のＭＦＰを組立ラインから外し、テスト動作を実行させ、動作音をマイク１０１より取得し、所定の機械振動音が検出されるかどうかを検査する。機械振動音が検出されるかどうかの判定には、機械振動音検査装置が備えるＧＰＵによる学習または推論を用いる。学習または推論に用いられる入力データについては以下のフローチャートの説明にて後述する。図４の各ステップのうちＳ４０５～S４０９における処理は、機械振動音検査装置１００のＣＰＵ２０１が、ＲＡＭ２０３に記憶されているプログラムコードを、ＲＯＭ２０２に展開し実行することにより行われる。なお、各処理の説明における記号「Ｓ」は、当該フローチャートにおけるステップであることを意味する。
【0021】
まず、Ｓ４０１において、検査者によって任意のＭＦＰであるＭＦＰ１０２が一台組立ラインから取り出される。次に、Ｓ４０２において、検査者によってＭＦＰ１０２が検査台に設置される。
【0022】
次に、Ｓ４０３において、検査者によって検査台に設置されたＭＦＰ１０２に電源が入れられ、機械振動音が発生しやすい特殊モードが実行される。Ｓ４０４において、機械振動音検査装置１００は、その動作中の音を機械振動音検査装置１００と接続されているマイク１０１で２秒間録音して、収音データ作成する。
【0023】
図５は、Ｓ４０４において作成された収音データを示す図である。具体的には、図５はＭＦＰ１０２のスキャナユニット初期化動作音の収音データであり、音圧をサンプリングレート４４．１ｋＨｚで収音したデータをプロットしたものである。本図においてＸ軸は時間を示し、Ｙ軸は音の強さを示す。
【0024】
Ｓ４０５において、機械振動音検査装置１００は収音データのスペクトラムデータを生成する。
【0025】
図６は、本実施形態のスペクトラムデータを示す図である。まず、図６（ａ）は、本実施形態において取得した収音データを基に生成した収音データの３Ｄスペクトラムデータを示す。本図において、Ｘ軸は時間、Ｙ軸は周波数、Ｚ軸は信号の強さを示す。また、図６（ａ）のスペクトラムデータから時間および信号成分の強さを取り出して２次元プロットしたものが図６（ｂ）である。なお、信号成分の強さは、白枠６０３に示す範囲で矢印６０２の方向に取り出したものである。
【0026】
【0027】
図６（ａ）、（ｂ）、および（ｃ）を比較すると、図６（ｃ）は、各プロットの濃度が信号成分の強さに比例していることがわかる。例えば、図６（ｂ）の点Ｓａは、図６（ｃ）の点Ｓａとしてプロットされており、点Ｓａは図６（ｂ）において信号の強さが最も大きいため、図６（ｃ）においてもっとも濃くプロットされている。また同様に、点Ｓｂは、図６（ｂ）において点Ｓａに次いで２番目に信号の強さが大きいことが示されており、図６（ｃ）においては、２番目に濃くプロットされている。
【0028】
【0029】
次にＳ４０６において、機械振動音検査装置１００は、Ｓ４０４にて取得した収音データからケプストラムデータを生成する。
【0030】
図７（ａ）は、図６（ａ）のスペクトラムデータをフーリエ変換することで生成した３Ｄケプストラムデータを示す図である。Ｘ軸は時間、Ｙ軸はケフレンシー（英： Ｑｕｅｆｒｅｎｃｙ）、Ｚ軸は信号の強さを示す。このケプストラムデータからケフレンシーおよび信号成分の強さを取り出して２次元プロットしたものが図７（ｂ）である。なお、信号成分の強さは、白枠７０３に示す範囲で矢印７０２の方向に取り出したものである。
【0031】
【0032】
図７（ａ）、（ｂ）、および（ｃ）を比較すると、図７（ｃ）は、各プロットの濃度が信号成分の強さに比例していることがわかる。例えば、図７（ｂ）の点Ｃａは図７（ｃ）の点Ｃａに示されている。また、図７（ｂ）の点Ｃｂは図７（ｃ）の点Ｃｂに示されている。なお、前述したように、機械振動音がある場合は濃度の高いことを示す縦スジが現れる。図７（ｃ）には縦スジ１～５が確認できるため、機械振動音があると判定される。
【0033】
Ｓ４０７において、機械振動音検査装置１００は、スペクトラムデータおよびケプストラムデータを合成し合成データを生成する。
【0034】
図８は、前述した図６（ｃ）の２次元スペクトログラムと、図７（ｃ）の２次元ケプストログラムとを合成し画像化した図である。具体的には、図６（ｃ）のスペクトラムデータの信号成分の強さを、時間順に一辺がＮ（Ｎは任意の値）、もう一辺がＮ／２の行列に並べ替える。次に、図７（ｃ）のケプストラムデータの信号成分の強さを、ケフレンシーの数値順に一辺がＮ、もう一辺がＮ／２の行列に並べ替える。そして、上記２つのデータを、一辺がＮの辺に合わせることでＮ×Ｎの合成データを生成する。なお、本実施形態では、例として１×１の合成データを生成している。図８に示すように、合成データの右半分は図６（ｃ）のスペクトラムデータであり、左半分は、図７（ｃ）のケプストラムデータとなる。従って、上記の２つデータを合わせることでデータ同士は互いに干渉等の影響を及ぼすようなことはなく、振動音検査においてスペクトラムデータ、ケプストラムデータのそれぞれを単独の学習データとした場合と比べて出力結果への影響は考慮しなくてもよい。
【0035】
Ｓ４０８において、機械振動音検査装置１００は、生成した合成データを学習済み畳み込みニューラルネットワーク（以下、ＣＮＮ）に入力する。
【0036】
図９は、本実施形態に用いる学習モデルを利用する際の入出力の構造を示す概念図である。図９（ａ）は、学習時における、学習モデル９０３とその入出力データとの関係を示す。学習時において用いられる学習用データは、入力データＸ（９０１）と教師データＴ（９０２）とを含む。入力データＸ（９０１）は、学習モデル９０３の入力層のデータである。本実施形態における入力データＸは図４のS４０７にて作成されるデータと同等のデータである。入力データＸを機械学習モデルである学習モデル９０３に入力すると、学習モデル９０３が認識した結果として出力データＹ（９０４）が出力される。学習時には、入力データＸの認識結果の正解データとして、異音があるかないかを示すデータである教師データＴ（９０２）が与えられる。出力データＹと教師データＴとを損失関数９０５に与えることにより、認識結果の正解からのずれ量Ｌ（９０６）が得られる。多数の学習用データに対してずれ量Ｌが小さくなるように、学習モデル９０３中のニューラルネットワークのノード間の結合重み付け係数等を更新する。機械学習の具体的なアルゴリズムとしては、最近傍法、ナイーブベイズ法、決定木、サポートベクターマシンなどが挙げられる。また、ニューラルネットワークを利用して、学習するための特徴量および結合重み付け係数を自ら生成する深層学習（ディープラーニング）も挙げられる。適宜、上記アルゴリズムのうち利用できるものを用いて本実施形態に適用することができる。例えば、リカレントニューラルネットワーク（ＲＮＮ）として、Ｌｏｎｇ ｓｈｏｒｔ－ｔｅｒｍ ｍｅｍｏｒｙ（ＬＳＴＭ）または双方向ＲＮＮなどを用いてもよい。さらにネットワーク構造として、複数のネットワーク構造を組み合わせたものを用いてもよい。例えば、畳み込みニューラルネットワーク（ＣＮＮ）と、ＲＮＮもしくはＬＳＴＭなどの再帰型ニューラルネットワークまたはオートエンコーダなどとを組み合わせてもよい。
【0037】
図９（ｂ）は、推論時における、学習済モデル９０８とその入出力データとの関係を示す。入力データＸ（９０７）は、学習済モデル９０８の入力層のデータである。本実施形態における入力データＸは、上述した合成データである。入力データＸを、機械学習モデルである学習済モデル９０８に入力すると、学習済モデル９０８が認識した結果として出力データＹ（９０９）が出力される。推論時には、この出力データＹを推論結果として利用する。なお、推論時の学習済モデル９０８は、学習時の学習モデル９０３と同等のニューラルネットワークを備えるものとして説明したが、推論で必要な部分のみを抽出したものを学習済モデル９０８として用意することもできる。これによって学習済モデル９０８のデータ量を削減したり、推論時のニューラルネットワーク処理時間を短縮したりすることが可能である。
【0038】
図１０は、本実施形態における学習済モデル９０８を用いた推論の流れを示す図である。まず、入力データ（即ち、合成データ）１００１に第一の畳み込みフィルタ１０１１、及び第一のプーリングフィルタ１０２１をかけて第一の中間データ１００３を生成する。次に、第一の中間データ１００３に第二の畳み込みフィルタ１０３１、及び第二のプーリングフィルタ１０４１をかけて第二の中間データ１００５を生成する。さらに第二の中間データ１００５を第一の全結合層１００６、次いで第二の全結合層１００７にかけた後、出力１００８を得る。
【0039】
Ｓ４０９において、ニューラルネットワークの出力に基づいて異音の有無を判定する。異音が有ると判定した場合は、Ｓ４１０においてＭＦＰ１０２を検査作業台から外して再調整を行った後、本検査フローをＳ４０２からやり直す。異音が無いと判定した場合はＳ４１１において、ＭＦＰ１０２を組み立てラインに戻し、本フローを終了する。
【0040】
以上、説明したように、本実施形態によれば、音認識の速度を向上させることができる。即ち、収音データの解析に用いられるスペクトラムデータおよびケプストラムデータを合成したデータを用いて推論を行うことで、それぞれのデータで推論を行うよりも、時間を短縮することができる。
【0041】
＜その他の実施形態＞
実施形態１ではＧＰＵ２０４が音認識の学習または推論等を行う説明をしたが、これに限らず、例えば、ＣＰＵ２０１を用いても構わない。また、ＧＰＵとＣＰＵとが協働する形態があってもよい。または、ネットワークインターフェース２０９を用いて、合成データを外部に送信し、外部で音認識を行った結果を取得するような形態であってもよい。
実施形態１ではＧＰＵ２０４が音認識の学習または推論等を行う説明をしたが、これに限らず、例えば、ＣＰＵ２０１を用いても構わない。また、ＧＰＵとＣＰＵとが協働する形態があってもよい。または、ネットワークインターフェース２０９を用いて、合成データを外部に送信し、外部で音認識を行った結果を取得するような形態であってもよい。
【0042】
また、上述の実施形態では、機械振動音の検出に推論を用いたが、必ずしも学習モデルを用いる必要はない。例えば、機械振動音を数値化し、図４のＳ４０９において予め設定された閾値を用いて、当該機械振動音の値を基にＭＦＰの再調整が必要かどうか判定するような形態がであってもよい。
【0043】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステムまたは装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。又、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【0044】
また、本発明は以下の構成を含む。
【0045】
（構成１）
検査対象の動作音を検査する制御装置であって、
前記検査対象の動作音を収音した収音データを取得する取得手段と、
前記収音データを基にスペクトラムデータを生成する第一生成手段と、
前記収音データを基にケプストラムデータを生成する第二生成手段と、
前記スペクトラムデータおよび前記ケプストラムデータを合成し、合成データを生成する第三生成手段と、
前記合成データを基に前記検査対象の動作音に所定の音が含まれるかどうか判定する判定手段と、
を備えることを特徴とする制御装置。
検査対象の動作音を検査する制御装置であって、
前記検査対象の動作音を収音した収音データを取得する取得手段と、
前記収音データを基にスペクトラムデータを生成する第一生成手段と、
前記収音データを基にケプストラムデータを生成する第二生成手段と、
前記スペクトラムデータおよび前記ケプストラムデータを合成し、合成データを生成する第三生成手段と、
前記合成データを基に前記検査対象の動作音に所定の音が含まれるかどうか判定する判定手段と、
を備えることを特徴とする制御装置。
【0046】
（構成２）
前記判定手段は、前記合成データを入力として前記所定の音が含まれるかを検出するように学習された学習済みモデルを用いて前記判定を行うことを特徴とする構成１に記載の制御装置。
前記判定手段は、前記合成データを入力として前記所定の音が含まれるかを検出するように学習された学習済みモデルを用いて前記判定を行うことを特徴とする構成１に記載の制御装置。
【0047】
（構成３）
前記学習済みモデルは、動作音を収音した収音データから生成されたスペクトラムデータおよびケプストラムデータを合成した合成データと、前記合成データに所定の音が含まれるかを示す教師データと、を用いて学習されていることを特徴とする構成２に記載の制御装置。
前記学習済みモデルは、動作音を収音した収音データから生成されたスペクトラムデータおよびケプストラムデータを合成した合成データと、前記合成データに所定の音が含まれるかを示す教師データと、を用いて学習されていることを特徴とする構成２に記載の制御装置。
【0048】
（構成４）
前記第一生成手段は、前記収音データに対し１回フーリエ変換を行うことにより前記スペクトラムデータを生成し、前記第二生成手段は、前記収音データに対し２回フーリエ変換を行うことにより前記ケプストラムデータを取得することを特徴とする構成１乃至３のいずれか一項に記載の制御装置。
前記第一生成手段は、前記収音データに対し１回フーリエ変換を行うことにより前記スペクトラムデータを生成し、前記第二生成手段は、前記収音データに対し２回フーリエ変換を行うことにより前記ケプストラムデータを取得することを特徴とする構成１乃至３のいずれか一項に記載の制御装置。
【0049】
（構成５）
前記第三生成手段は、
前記スペクトラムデータの信号成分の強さを時間順に一辺がＮ、もう一辺がＮ／２の行列に並べ替え、
前記ケプストラムデータの信号成分の強さをケフレンシーの数値順に一辺がＮ、もう一辺がＮ／２の行列に並べ替え、
一辺がＮである辺を互いに合わせＮ×Ｎの前記合成データを生成することを特徴とする構成１乃至４のいずれか一項に記載の制御装置。
前記第三生成手段は、
前記スペクトラムデータの信号成分の強さを時間順に一辺がＮ、もう一辺がＮ／２の行列に並べ替え、
前記ケプストラムデータの信号成分の強さをケフレンシーの数値順に一辺がＮ、もう一辺がＮ／２の行列に並べ替え、
一辺がＮである辺を互いに合わせＮ×Ｎの前記合成データを生成することを特徴とする構成１乃至４のいずれか一項に記載の制御装置。
【0050】
（構成６）
前記所定の音は、機械振動音であることを特徴とする構成１乃至５のいずれか一項に記載の制御装置。
前記所定の音は、機械振動音であることを特徴とする構成１乃至５のいずれか一項に記載の制御装置。
【0051】
（構成７）
前記機械振動音は、ギアの可動モールド部材同士の嵌合不良により生じる周期性を持った異音であることを特徴とする構成６に記載の制御装置。
前記機械振動音は、ギアの可動モールド部材同士の嵌合不良により生じる周期性を持った異音であることを特徴とする構成６に記載の制御装置。
【0052】
（構成８）
検査対象の動作音を検査するための制御装置の制御方法であって、
前記検査対象の動作音を示す収音データを取得する取得ステップと、
前記収音データを基にスペクトラムデータを生成する第一生成ステップと、
前記収音データを基にケプストラムデータを生成する第二生成ステップと、
前記スペクトラムデータおよび前記ケプストラムデータを合成し、合成データを生成する第三生成ステップと、
前記合成データを基に前記検査対象の動作音に所定の音が含まれるかどうか判定する判定ステップと、
を備えることを特徴とする制御装置の制御方法。
検査対象の動作音を検査するための制御装置の制御方法であって、
前記検査対象の動作音を示す収音データを取得する取得ステップと、
前記収音データを基にスペクトラムデータを生成する第一生成ステップと、
前記収音データを基にケプストラムデータを生成する第二生成ステップと、
前記スペクトラムデータおよび前記ケプストラムデータを合成し、合成データを生成する第三生成ステップと、
前記合成データを基に前記検査対象の動作音に所定の音が含まれるかどうか判定する判定ステップと、
を備えることを特徴とする制御装置の制御方法。
【0053】
（構成９）
検査対象の動作音を検査するための制御装置において動作することが可能なプログラムであって、前記制御装置を、
前記検査対象の動作音を示す収音データを取得する取得ステップと、
前記収音データを基にスペクトラムデータを生成する第一生成ステップと、
前記収音データを基にケプストラムデータを生成する第二生成ステップと、
前記スペクトラムデータおよび前記ケプストラムデータを合成し、合成データを生成する第三生成ステップと、
前記合成データを基に前記検査対象の動作音に所定の音が含まれるかどうか判定する判定ステップと、
として機能させることを特徴とするプログラム。
検査対象の動作音を検査するための制御装置において動作することが可能なプログラムであって、前記制御装置を、
前記検査対象の動作音を示す収音データを取得する取得ステップと、
前記収音データを基にスペクトラムデータを生成する第一生成ステップと、
前記収音データを基にケプストラムデータを生成する第二生成ステップと、
前記スペクトラムデータおよび前記ケプストラムデータを合成し、合成データを生成する第三生成ステップと、
前記合成データを基に前記検査対象の動作音に所定の音が含まれるかどうか判定する判定ステップと、
として機能させることを特徴とするプログラム。
【0054】
（構成１０）
検査対象の動作音を検査する学習済みモデルを作成する制御装置であって、
学習対象の動作音を示す収音データを取得する取得手段と、
前記収音データを基にスペクトラムデータを生成する第一生成手段と、
前記収音データを基にケプストラムデータを生成する第二生成手段と、
前記スペクトラムデータおよび前記ケプストラムデータを合成し、合成データを生成する第三生成手段と、
前記合成データと、前記合成データに所定の音が含まれるかを示す教師データと、を用いて前記所定の音が含まれるかを検出するように前記学習済みモデルを作成する学習手段と、
を備えることを特徴とする制御装置。
検査対象の動作音を検査する学習済みモデルを作成する制御装置であって、
学習対象の動作音を示す収音データを取得する取得手段と、
前記収音データを基にスペクトラムデータを生成する第一生成手段と、
前記収音データを基にケプストラムデータを生成する第二生成手段と、
前記スペクトラムデータおよび前記ケプストラムデータを合成し、合成データを生成する第三生成手段と、
前記合成データと、前記合成データに所定の音が含まれるかを示す教師データと、を用いて前記所定の音が含まれるかを検出するように前記学習済みモデルを作成する学習手段と、
を備えることを特徴とする制御装置。
【0055】
（構成１１）
検査対象の動作音を検査する学習済みモデルを作成する制御装置の制御方法であって、
学習対象の動作音を示す収音データを取得する取得ステップと、
前記収音データを基にスペクトラムデータを生成する第一生成ステップと、
前記収音データを基にケプストラムデータを生成する第二生成ステップと、
前記スペクトラムデータおよび前記ケプストラムデータを合成し、合成データを生成する第三生成ステップと、
前記合成データと、前記合成データに所定の音が含まれるかを示す教師データと、を用いて前記所定の音が含まれるかを検出するように前記学習済みモデルを作成する学習ステップと、
を備えることを特徴とする制御装置の制御方法。
検査対象の動作音を検査する学習済みモデルを作成する制御装置の制御方法であって、
学習対象の動作音を示す収音データを取得する取得ステップと、
前記収音データを基にスペクトラムデータを生成する第一生成ステップと、
前記収音データを基にケプストラムデータを生成する第二生成ステップと、
前記スペクトラムデータおよび前記ケプストラムデータを合成し、合成データを生成する第三生成ステップと、
前記合成データと、前記合成データに所定の音が含まれるかを示す教師データと、を用いて前記所定の音が含まれるかを検出するように前記学習済みモデルを作成する学習ステップと、
を備えることを特徴とする制御装置の制御方法。
【0056】
（構成１２）
検査対象の動作音を検査する学習済みモデルを作成する制御装置において動作することが可能なプログラムでであって、前記制御装置を
学習対象の動作音を示す収音データを取得する取得手段と、
前記収音データを基にスペクトラムデータを生成する第一生成手段と、
前記収音データを基にケプストラムデータを生成する第二生成手段と、
前記スペクトラムデータおよび前記ケプストラムデータを合成し、合成データを生成する第三生成手段と、
前記合成データと、前記合成データに所定の音が含まれるかを示す教師データと、を用いて前記所定の音が含まれるかを検出するように前記学習済みモデルを作成する学習手段と、
として機能させることを特徴とするプログラム。
検査対象の動作音を検査する学習済みモデルを作成する制御装置において動作することが可能なプログラムでであって、前記制御装置を
学習対象の動作音を示す収音データを取得する取得手段と、
前記収音データを基にスペクトラムデータを生成する第一生成手段と、
前記収音データを基にケプストラムデータを生成する第二生成手段と、
前記スペクトラムデータおよび前記ケプストラムデータを合成し、合成データを生成する第三生成手段と、
前記合成データと、前記合成データに所定の音が含まれるかを示す教師データと、を用いて前記所定の音が含まれるかを検出するように前記学習済みモデルを作成する学習手段と、
として機能させることを特徴とするプログラム。
【符号の説明】
【0057】
１００ 機械振動音検査装置
１０１ マイクロフォン
１０２ ＭＦＰ
２０１ ＣＰＵ
２０４ ＧＰＵ
１０１ マイクロフォン
１０２ ＭＦＰ
２０１ ＣＰＵ
２０４ ＧＰＵ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】