ホーム > 特許ランキング > 株式会社シーイーシー
知財求人 - 知財ポータルサイト「IP Force」
特開2024-77245音判定システム、学習モデル作成システム、音判定方法、学習モデル作成方法およびプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024077245
(43)【公開日】2024-06-07
(54)【発明の名称】音判定システム、学習モデル作成システム、音判定方法、学習モデル作成方法およびプログラム
(51)【国際特許分類】
G01H 3/00 20060101AFI20240531BHJP
【ＦＩ】
G01H3/00 Z
【審査請求】未請求
【請求項の数】15
【出願形態】ＯＬ
(21)【出願番号】P 2022189209
(22)【出願日】2022-11-28
(71)【出願人】
【識別番号】398011446
【氏名又は名称】株式会社シーイーシー
(74)【代理人】
【識別番号】100161207
【弁理士】
【氏名又は名称】西澤 和純
(74)【代理人】
【識別番号】100175824
【弁理士】
【氏名又は名称】小林 淳一
(72)【発明者】
【氏名】梅野 学
(72)【発明者】
【氏名】中山 裕斗
【テーマコード（参考）】
2G064
【Ｆターム（参考）】
2G064AA14
2G064AB01
2G064AB02
2G064AB13
2G064CC02
2G064CC29
2G064CC43
2G064CC46
2G064DD08
2G064DD14
2G064DD15
(57)【要約】
【課題】音を判定できる音判定システム、学習モデル作成システム、音判定方法、学習モデル作成方法およびプログラムを提供すること。
【解決手段】音判定システムは、音データを受け付ける受付部と、受付部が受け付けた音データから、音の特徴が表されている部分を抽出する抽出部と、受付部が受け付けた音データに基づいて、音を判定する第１処理部と、抽出部が抽出した音の特徴が表されている部分に基づいて、音を判定する第２処理部と、第１処理部による音の第１判定結果と第２処理部による音の第２判定結果とに基づいて、音を判定する判定部と、判定部による音の判定結果を出力する出力部とを備える。
【選択図】図１
【解決手段】音判定システムは、音データを受け付ける受付部と、受付部が受け付けた音データから、音の特徴が表されている部分を抽出する抽出部と、受付部が受け付けた音データに基づいて、音を判定する第１処理部と、抽出部が抽出した音の特徴が表されている部分に基づいて、音を判定する第２処理部と、第１処理部による音の第１判定結果と第２処理部による音の第２判定結果とに基づいて、音を判定する判定部と、判定部による音の判定結果を出力する出力部とを備える。
【選択図】図１
【特許請求の範囲】
【請求項1】
音データを受け付ける受付部と、
前記受付部が受け付けた前記音データから、音の特徴が表されている部分を抽出する抽出部と、
前記受付部が受け付けた前記音データに基づいて、前記音を判定する第１処理部と、
前記抽出部が抽出した前記音の特徴が表されている前記部分に基づいて、前記音を判定する第２処理部と、
前記第１処理部による前記音の第１判定結果と前記第２処理部による前記音の第２判定結果とに基づいて、前記音を判定する判定部と、
前記判定部による前記音の判定結果を出力する出力部と
を備える、音判定システム。
前記受付部が受け付けた前記音データから、音の特徴が表されている部分を抽出する抽出部と、
前記受付部が受け付けた前記音データに基づいて、前記音を判定する第１処理部と、
前記抽出部が抽出した前記音の特徴が表されている前記部分に基づいて、前記音を判定する第２処理部と、
前記第１処理部による前記音の第１判定結果と前記第２処理部による前記音の第２判定結果とに基づいて、前記音を判定する判定部と、
前記判定部による前記音の判定結果を出力する出力部と
を備える、音判定システム。
【請求項2】
前記第１処理部は、複数の音声データの各々について音画像と前記音データの音を識別する情報との関係を機械学習しており、前記受付部が受け付けた前記音声データを音画像に変換し、当該機械学習の結果を使用して、前記音画像に基づいて前記音を判定する、請求項１に記載の音判定システム。
【請求項3】
前記抽出部は、前記音データに基づいて波形情報を取得し、
前記第１処理部は、複数の音データの各々について波形情報と前記音データの音を識別する情報とを関連付けた情報を記憶しており、当該情報を使用して、前記抽出部が取得した前記波形情報に基づいて前記音を判定する、請求項１に記載の音判定システム。
前記第１処理部は、複数の音データの各々について波形情報と前記音データの音を識別する情報とを関連付けた情報を記憶しており、当該情報を使用して、前記抽出部が取得した前記波形情報に基づいて前記音を判定する、請求項１に記載の音判定システム。
【請求項4】
前記波形情報は、周波数、吹鳴周期、吹鳴回数の少なくとも一つである、請求項３に記載の音判定システム。
【請求項5】
前記抽出部は、前記音データから前記音の特徴が表されている部分を抽出し、
前記第２処理部は、複数の音声データの各々について音の特徴が表されている部分の音画像と前記音データの音を識別する情報との関係を機械学習しており、前記抽出部が抽出した前記音の特徴が表されている部分を音画像に変換し、当該機械学習の結果を使用して、前記音の特徴が表されている部分の前記音画像に基づいて前記音を判定する、請求項１に記載の音判定システム。
前記第２処理部は、複数の音声データの各々について音の特徴が表されている部分の音画像と前記音データの音を識別する情報との関係を機械学習しており、前記抽出部が抽出した前記音の特徴が表されている部分を音画像に変換し、当該機械学習の結果を使用して、前記音の特徴が表されている部分の前記音画像に基づいて前記音を判定する、請求項１に記載の音判定システム。
【請求項6】
前記抽出部は、前記音データから、前記音の特徴が表されている部分を抽出し、
前記第２処理部は、複数の音声データの各々について音の特徴が表されている部分の音画像の次元を圧縮した結果と前記音データの音を識別する情報との関係を機械学習しており、前記抽出部が抽出した前記音の特徴が表されている部分を音画像に変換し、前記音画像の次元を圧縮し、当該機械学習の結果を使用して、前記音の特徴が表されている部分の前記音画像の次元を圧縮した結果に基づいて前記音を判定する、請求項１に記載の音判定システム。
前記第２処理部は、複数の音声データの各々について音の特徴が表されている部分の音画像の次元を圧縮した結果と前記音データの音を識別する情報との関係を機械学習しており、前記抽出部が抽出した前記音の特徴が表されている部分を音画像に変換し、前記音画像の次元を圧縮し、当該機械学習の結果を使用して、前記音の特徴が表されている部分の前記音画像の次元を圧縮した結果に基づいて前記音を判定する、請求項１に記載の音判定システム。
【請求項7】
前記抽出部は、前記音データに基づいて波形情報を取得し、
前記第１処理部は、
複数の音データの各々について波形情報と前記音データの音を識別する情報とを関連付けた情報を記憶しており、当該情報を使用して、前記抽出部が取得した前記波形情報に基づいて前記音を判定するとともに、
複数の音声データの各々について音画像と前記音データの音を識別する情報との関係を機械学習しており、前記受付部が受け付けた前記音声データを音画像に変換し、当該機械学習の結果を使用して、前記音画像に基づいて前記音を判定する、請求項１に記載の音判定システム。
前記第１処理部は、
複数の音データの各々について波形情報と前記音データの音を識別する情報とを関連付けた情報を記憶しており、当該情報を使用して、前記抽出部が取得した前記波形情報に基づいて前記音を判定するとともに、
複数の音声データの各々について音画像と前記音データの音を識別する情報との関係を機械学習しており、前記受付部が受け付けた前記音声データを音画像に変換し、当該機械学習の結果を使用して、前記音画像に基づいて前記音を判定する、請求項１に記載の音判定システム。
【請求項8】
前記抽出部は、前記音データから、前記音の特徴が表されている部分を抽出し、
前記第２処理部は、
複数の音声データの各々について音の特徴が表されている部分の音画像と前記音データの音を識別する情報との関係を機械学習しており、前記抽出部が抽出した前記音の特徴が表されている部分を音画像に変換し、当該機械学習の結果を使用して、前記音の特徴が表されている部分の前記音画像に基づいて前記音を判定するとともに、
前記抽出部は、前記音データから、前記音の特徴が表されている部分を抽出し、
複数の音声データの各々について音の特徴が表されている部分の音画像の次元を圧縮した結果と前記音データの音を識別する情報との関係を機械学習しており、前記抽出部が抽出した前記音の特徴が表されている部分を音画像に変換し、前記音画像の次元を圧縮し、当該機械学習の結果を使用して、前記音の特徴が表されている部分の前記音画像の次元を圧縮した結果に基づいて前記音を判定する、請求項７に記載の音判定システム。
前記第２処理部は、
複数の音声データの各々について音の特徴が表されている部分の音画像と前記音データの音を識別する情報との関係を機械学習しており、前記抽出部が抽出した前記音の特徴が表されている部分を音画像に変換し、当該機械学習の結果を使用して、前記音の特徴が表されている部分の前記音画像に基づいて前記音を判定するとともに、
前記抽出部は、前記音データから、前記音の特徴が表されている部分を抽出し、
複数の音声データの各々について音の特徴が表されている部分の音画像の次元を圧縮した結果と前記音データの音を識別する情報との関係を機械学習しており、前記抽出部が抽出した前記音の特徴が表されている部分を音画像に変換し、前記音画像の次元を圧縮し、当該機械学習の結果を使用して、前記音の特徴が表されている部分の前記音画像の次元を圧縮した結果に基づいて前記音を判定する、請求項７に記載の音判定システム。
【請求項9】
前記判定部は、音の特徴が表されている前記部分の音画像に基づいて音を判定した前記結果と、音の特徴が表されている前記部分の音画像の次元を圧縮した結果に基づいて音を判定した前記結果とのいずれかを、特徴量との一致度に基づいて判定する、請求項８に記載の音判定システム。
【請求項10】
音データを変換した音画像を示す情報が学習データとして含まれ且つ音データによって示される音を識別する情報が教師データとして含まれる学習用データセットを受け付ける受付部と、
前記受付部が受け付けた前記学習用データセットに基づいて、前記音データを変換した前記音画像を説明変数、前記音データによって示される前記音データの音を識別する情報を目的変数として、音データを変換した音画像と音データによって示される音を識別する情報との関係を機械学習することによって学習モデルを作成する処理部と、
前記処理部が作成した前記学習モデルを出力する出力部と
を備える、学習モデル作成システム。
前記受付部が受け付けた前記学習用データセットに基づいて、前記音データを変換した前記音画像を説明変数、前記音データによって示される前記音データの音を識別する情報を目的変数として、音データを変換した音画像と音データによって示される音を識別する情報との関係を機械学習することによって学習モデルを作成する処理部と、
前記処理部が作成した前記学習モデルを出力する出力部と
を備える、学習モデル作成システム。
【請求項11】
前記受付部は、音データの音の特徴が表されている部分を変換した音部分画像を示す情報が学習データとして含まれ且つ音データによって示される前記音を識別する情報が教師データとして含まれる学習用データセットを受け付け、
前記処理部は、前記受付部が受け付けた前記学習用データセットに基づいて、前記音データの音の特徴が表されている前記部分を変換した前記音部分画像を説明変数、前記音データによって示される音を識別する情報を目的変数として、音データの音の特徴が表されている前記部分を変換した音部分画像情報と音データによって示される音を識別する情報との関係を機械学習することによって学習モデルを作成する、請求項１０に記載の学習モデル作成システム。
前記処理部は、前記受付部が受け付けた前記学習用データセットに基づいて、前記音データの音の特徴が表されている前記部分を変換した前記音部分画像を説明変数、前記音データによって示される音を識別する情報を目的変数として、音データの音の特徴が表されている前記部分を変換した音部分画像情報と音データによって示される音を識別する情報との関係を機械学習することによって学習モデルを作成する、請求項１０に記載の学習モデル作成システム。
【請求項12】
コンピュータが実行する音判定方法であって、
音データを受け付けるステップと、
前記受け付けるステップで受け付けた前記音データから、音の特徴が表されている部分を抽出するステップと、
前記受け付けるステップで受け付けた前記音データに基づいて、前記音を判定するステップと、
前記抽出するステップで抽出した前記音の特徴が表されている前記部分に基づいて、前記音を判定するステップと、
前記音データに基づいて前記音を判定した結果と前記音の特徴が表されている前記部分に基づいて前記音を判定した結果とに基づいて、前記音を判定するステップと、
前記判定するステップによる前記音の判定結果を出力するステップと
を有する、音判定方法。
音データを受け付けるステップと、
前記受け付けるステップで受け付けた前記音データから、音の特徴が表されている部分を抽出するステップと、
前記受け付けるステップで受け付けた前記音データに基づいて、前記音を判定するステップと、
前記抽出するステップで抽出した前記音の特徴が表されている前記部分に基づいて、前記音を判定するステップと、
前記音データに基づいて前記音を判定した結果と前記音の特徴が表されている前記部分に基づいて前記音を判定した結果とに基づいて、前記音を判定するステップと、
前記判定するステップによる前記音の判定結果を出力するステップと
を有する、音判定方法。
【請求項13】
コンピュータが実行する学習モデル作成方法であって、
音データを変換した音画像を示す情報が学習データとして含まれ且つ音データによって示される音を識別する情報が教師データとして含まれる学習用データセットを受け付けるステップと、
前記受け付けるステップで受け付けた前記学習用データセットに基づいて、前記音データを変換した前記音画像を説明変数、前記音データによって示される前記音を識別する情報を目的変数として、音データを変換した音画像と音データによって示される音を識別する情報との関係を機械学習することによって学習モデルを作成するステップと、
前記作成するステップで作成した前記学習モデルを出力するステップと
を有する、学習モデル作成方法。
音データを変換した音画像を示す情報が学習データとして含まれ且つ音データによって示される音を識別する情報が教師データとして含まれる学習用データセットを受け付けるステップと、
前記受け付けるステップで受け付けた前記学習用データセットに基づいて、前記音データを変換した前記音画像を説明変数、前記音データによって示される前記音を識別する情報を目的変数として、音データを変換した音画像と音データによって示される音を識別する情報との関係を機械学習することによって学習モデルを作成するステップと、
前記作成するステップで作成した前記学習モデルを出力するステップと
を有する、学習モデル作成方法。
【請求項14】
コンピュータに、
音データを受け付けるステップと、
前記受け付けるステップで受け付けた前記音データから、音の特徴が表されている部分を抽出するステップと、
前記受け付けるステップで受け付けた前記音データに基づいて、前記音を判定するステップと、
前記抽出するステップで抽出した前記音の特徴が表されている前記部分に基づいて、前記音を判定するステップと、
前記音データに基づいて前記音を判定した結果と前記音の特徴が表されている前記部分に基づいて前記音を判定した結果とに基づいて、前記音を判定するステップと、
前記判定するステップによる前記音の判定結果を出力するステップと
を実行させる、プログラム。
音データを受け付けるステップと、
前記受け付けるステップで受け付けた前記音データから、音の特徴が表されている部分を抽出するステップと、
前記受け付けるステップで受け付けた前記音データに基づいて、前記音を判定するステップと、
前記抽出するステップで抽出した前記音の特徴が表されている前記部分に基づいて、前記音を判定するステップと、
前記音データに基づいて前記音を判定した結果と前記音の特徴が表されている前記部分に基づいて前記音を判定した結果とに基づいて、前記音を判定するステップと、
前記判定するステップによる前記音の判定結果を出力するステップと
を実行させる、プログラム。
【請求項15】
コンピュータに、
音データを変換した音画像を示す情報が学習データとして含まれ且つ音データによって示される音を識別する情報が教師データとして含まれる学習用データセットを受け付けるステップと、
前記受け付けるステップで受け付けた前記学習用データセットに基づいて、前記音データを変換した前記音画像を説明変数、前記音データによって示される前記音を識別する情報を目的変数として、音データを変換した音画像情報と音データによって示される音を識別する情報との関係を機械学習することによって学習モデルを作成するステップと、
前記作成するステップで作成した前記学習モデルを出力するステップと
を実行させる、プログラム。
音データを変換した音画像を示す情報が学習データとして含まれ且つ音データによって示される音を識別する情報が教師データとして含まれる学習用データセットを受け付けるステップと、
前記受け付けるステップで受け付けた前記学習用データセットに基づいて、前記音データを変換した前記音画像を説明変数、前記音データによって示される前記音を識別する情報を目的変数として、音データを変換した音画像情報と音データによって示される音を識別する情報との関係を機械学習することによって学習モデルを作成するステップと、
前記作成するステップで作成した前記学習モデルを出力するステップと
を実行させる、プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、音判定システム、学習モデル作成システム、音判定方法、学習モデル作成方法およびプログラムに関する。
【背景技術】
【0002】
近年、自動車や産業機器、デジタル家電のものづくり領域では、国際的な安全・環境基準への厳しい要求やグローバル標準化が加速している。自動運転技術が進む自動車業界ではソフトウェア開発の大規模化・複雑化に加え、市場からの短納期・高品質な開発要求により、検証工程の負担は年々増大している。ソフトウェア開発現場では、品質保証と同時に効率化を目指すため、テスト領域の自動化が加速している。しかし、機器音に関しては、複雑なノイズ音や音のタイミングの違いにより、従来の波形や周波数を使ったテスト手法では自動化されにくいのが現状である。
【0003】
機器音を検出する技術に関して、乗員の耳に届くキャビン内の異音の発生源がエンジンコンパートメント内であることを判定する技術が知られている（例えば、特許文献１参照）。この技術では、音源判定システムの実行装置は、エンジンコンパートメント内に設置されたマイクで収録した第１録音データから作成した第１解析用画像を機械学習済みモデルに入力して特定異音の特徴が現れている部分を検出する第１検出処理と、車両のキャビン内に設置されたマイクで収録した第２録音データから作成した第２解析用画像を機械学習済みモデルに入力して特定異音の特徴が現れている部分を検出する第２検出処理とを実行する。そして、実行装置は、第２検出処理を通じて検出された部分のうち、第１検出処理を通じて検出された部分と一致する判定対象部分がある場合に、異音の発生源がエンジンコンパートメント内であると判定する。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０２２－８１３０５号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
検査担当者による検査工程が多い自動車や産業用装置、デジタル家電の中で、機器音の判定は、手動操作が必要性であり、判定精度も低い。
本発明は、音を判定できる音判定システム、学習モデル作成システム、音判定方法、学習モデル作成方法およびプログラムを提供することを目的とする。
本発明は、音を判定できる音判定システム、学習モデル作成システム、音判定方法、学習モデル作成方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
（１）本発明の一態様は、音データを受け付ける受付部と、前記受付部が受け付けた前記音データから、音の特徴が表されている部分を抽出する抽出部と、前記受付部が受け付けた前記音データに基づいて、前記音を判定する第１処理部と、前記抽出部が抽出した前記音の特徴が表されている前記部分に基づいて、前記音を判定する第２処理部と、前記第１処理部による前記音の第１判定結果と前記第２処理部による前記音の第２判定結果とに基づいて、前記音を判定する判定部と、前記判定部による前記音の判定結果を出力する出力部とを備える、音判定システムである。
（２）本発明の一態様の音判定システムにおいて、前記第１処理部は、複数の音声データの各々について音画像と前記音データの音を識別する情報との関係を機械学習しており、前記受付部が受け付けた前記音声データを音画像に変換し、当該機械学習の結果を使用して、前記音画像に基づいて前記音を判定する。
（３）本発明の一態様の音判定システムにおいて、前記抽出部は、前記音データに基づいて波形情報を取得し、前記第１処理部は、複数の音データの各々について波形情報と前記音データの音を識別する情報とを関連付けた情報を記憶しており、当該情報を使用して、前記抽出部が取得した前記波形情報に基づいて前記音を判定する。
（４）本発明の一態様の音判定システムにおいて、前記波形情報は、周波数、吹鳴周期、吹鳴回数の少なくとも一つである。
（５）本発明の一態様の音判定システムにおいて、前記抽出部は、前記音データから前記音の特徴が表されている部分を抽出し、前記第２処理部は、複数の音声データの各々について音の特徴が表されている部分の音画像と前記音データの音を識別する情報との関係を機械学習しており、前記抽出部が抽出した前記音の特徴が表されている部分を音画像に変換し、当該機械学習の結果を使用して、前記音の特徴が表されている部分の前記音画像に基づいて前記音を判定する。
（６）本発明の一態様の音判定システムにおいて、前記抽出部は、前記音データから、前記音の特徴が表されている部分を抽出し、前記第２処理部は、複数の音声データの各々について音の特徴が表されている部分の音画像の次元を圧縮した結果と前記音データの音を識別する情報との関係を機械学習しており、前記抽出部が抽出した前記音の特徴が表されている部分を音画像に変換し、前記音画像の次元を圧縮し、当該機械学習の結果を使用して、前記音の特徴が表されている部分の前記音画像の次元を圧縮した結果に基づいて前記音を判定する。
（７）本発明の一態様の音判定システムにおいて、前記抽出部は、前記音データに基づいて波形情報を取得し、前記第１処理部は、複数の音データの各々について波形情報と前記音データの音を識別する情報とを関連付けた情報を記憶しており、当該情報を使用して、前記抽出部が取得した前記波形情報に基づいて前記音を判定するとともに、複数の音声データの各々について音画像と前記音データの音を識別する情報との関係を機械学習しており、前記受付部が受け付けた前記音声データを音画像に変換し、当該機械学習の結果を使用して、前記音画像に基づいて前記音を判定する。
（８）本発明の一態様の音判定システムにおいて、前記抽出部は、前記音データから、前記音の特徴が表されている部分を抽出し、前記第２処理部は、複数の音声データの各々について音の特徴が表されている部分の音画像と前記音データの音を識別する情報との関係を機械学習しており、前記抽出部が抽出した前記音の特徴が表されている部分を音画像に変換し、当該機械学習の結果を使用して、前記音の特徴が表されている部分の前記音画像に基づいて前記音を判定するとともに、前記抽出部は、前記音データから、前記音の特徴が表されている部分を抽出し、複数の音声データの各々について音の特徴が表されている部分の音画像の次元を圧縮した結果と前記音データの音を識別する情報との関係を機械学習しており、前記抽出部が抽出した前記音の特徴が表されている部分を音画像に変換し、前記音画像の次元を圧縮し、当該機械学習の結果を使用して、前記音の特徴が表されている部分の前記音画像の次元を圧縮した結果に基づいて前記音を判定する。
（９）本発明の一態様の音判定システムにおいて、前記判定部は、音の特徴が表されている前記部分の音画像に基づいて音を判定した前記結果と、音の特徴が表されている前記部分の音画像の次元を圧縮した結果に基づいて音を判定した前記結果とのいずれかを、特徴量との一致度に基づいて判定する。
（２）本発明の一態様の音判定システムにおいて、前記第１処理部は、複数の音声データの各々について音画像と前記音データの音を識別する情報との関係を機械学習しており、前記受付部が受け付けた前記音声データを音画像に変換し、当該機械学習の結果を使用して、前記音画像に基づいて前記音を判定する。
（３）本発明の一態様の音判定システムにおいて、前記抽出部は、前記音データに基づいて波形情報を取得し、前記第１処理部は、複数の音データの各々について波形情報と前記音データの音を識別する情報とを関連付けた情報を記憶しており、当該情報を使用して、前記抽出部が取得した前記波形情報に基づいて前記音を判定する。
（４）本発明の一態様の音判定システムにおいて、前記波形情報は、周波数、吹鳴周期、吹鳴回数の少なくとも一つである。
（５）本発明の一態様の音判定システムにおいて、前記抽出部は、前記音データから前記音の特徴が表されている部分を抽出し、前記第２処理部は、複数の音声データの各々について音の特徴が表されている部分の音画像と前記音データの音を識別する情報との関係を機械学習しており、前記抽出部が抽出した前記音の特徴が表されている部分を音画像に変換し、当該機械学習の結果を使用して、前記音の特徴が表されている部分の前記音画像に基づいて前記音を判定する。
（６）本発明の一態様の音判定システムにおいて、前記抽出部は、前記音データから、前記音の特徴が表されている部分を抽出し、前記第２処理部は、複数の音声データの各々について音の特徴が表されている部分の音画像の次元を圧縮した結果と前記音データの音を識別する情報との関係を機械学習しており、前記抽出部が抽出した前記音の特徴が表されている部分を音画像に変換し、前記音画像の次元を圧縮し、当該機械学習の結果を使用して、前記音の特徴が表されている部分の前記音画像の次元を圧縮した結果に基づいて前記音を判定する。
（７）本発明の一態様の音判定システムにおいて、前記抽出部は、前記音データに基づいて波形情報を取得し、前記第１処理部は、複数の音データの各々について波形情報と前記音データの音を識別する情報とを関連付けた情報を記憶しており、当該情報を使用して、前記抽出部が取得した前記波形情報に基づいて前記音を判定するとともに、複数の音声データの各々について音画像と前記音データの音を識別する情報との関係を機械学習しており、前記受付部が受け付けた前記音声データを音画像に変換し、当該機械学習の結果を使用して、前記音画像に基づいて前記音を判定する。
（８）本発明の一態様の音判定システムにおいて、前記抽出部は、前記音データから、前記音の特徴が表されている部分を抽出し、前記第２処理部は、複数の音声データの各々について音の特徴が表されている部分の音画像と前記音データの音を識別する情報との関係を機械学習しており、前記抽出部が抽出した前記音の特徴が表されている部分を音画像に変換し、当該機械学習の結果を使用して、前記音の特徴が表されている部分の前記音画像に基づいて前記音を判定するとともに、前記抽出部は、前記音データから、前記音の特徴が表されている部分を抽出し、複数の音声データの各々について音の特徴が表されている部分の音画像の次元を圧縮した結果と前記音データの音を識別する情報との関係を機械学習しており、前記抽出部が抽出した前記音の特徴が表されている部分を音画像に変換し、前記音画像の次元を圧縮し、当該機械学習の結果を使用して、前記音の特徴が表されている部分の前記音画像の次元を圧縮した結果に基づいて前記音を判定する。
（９）本発明の一態様の音判定システムにおいて、前記判定部は、音の特徴が表されている前記部分の音画像に基づいて音を判定した前記結果と、音の特徴が表されている前記部分の音画像の次元を圧縮した結果に基づいて音を判定した前記結果とのいずれかを、特徴量との一致度に基づいて判定する。
【0007】
（１０）本発明の一態様は、音データを変換した音画像を示す情報が学習データとして含まれ且つ音データによって示される音を識別する情報が教師データとして含まれる学習用データセットを受け付ける受付部と、前記受付部が受け付けた前記学習用データセットに基づいて、前記音データを変換した前記音画像を説明変数、前記音データによって示される前記音データの音を識別する情報を目的変数として、音データを変換した音画像と音データによって示される音を識別する情報との関係を機械学習することによって学習モデルを作成する処理部と、前記処理部が作成した前記学習モデルを出力する出力部とを備える、学習モデル作成システムである。
（１１）本発明の一態様の学習モデル作成システムにおいて、前記受付部は、音データの音の特徴が表されている部分を変換した音部分画像を示す情報が学習データとして含まれ且つ音データによって示される前記音を識別する情報が教師データとして含まれる学習用データセットを受け付け、前記処理部は、前記受付部が受け付けた前記学習用データセットに基づいて、前記音データの音の特徴が表されている前記部分を変換した前記音部分画像を説明変数、前記音データによって示される音を識別する情報を目的変数として、音データの音の特徴が表されている前記部分を変換した音部分画像情報と音データによって示される音を識別する情報との関係を機械学習することによって学習モデルを作成する。
（１１）本発明の一態様の学習モデル作成システムにおいて、前記受付部は、音データの音の特徴が表されている部分を変換した音部分画像を示す情報が学習データとして含まれ且つ音データによって示される前記音を識別する情報が教師データとして含まれる学習用データセットを受け付け、前記処理部は、前記受付部が受け付けた前記学習用データセットに基づいて、前記音データの音の特徴が表されている前記部分を変換した前記音部分画像を説明変数、前記音データによって示される音を識別する情報を目的変数として、音データの音の特徴が表されている前記部分を変換した音部分画像情報と音データによって示される音を識別する情報との関係を機械学習することによって学習モデルを作成する。
【0008】
（１２）本発明の一態様は、コンピュータが実行する音判定方法であって、音データを受け付けるステップと、前記受け付けるステップで受け付けた前記音データから、音の特徴が表されている部分を抽出するステップと、前記受け付けるステップで受け付けた前記音データに基づいて、前記音を判定するステップと、前記抽出するステップで抽出した前記音の特徴が表されている前記部分に基づいて、前記音を判定するステップと、前記音データに基づいて前記音を判定した結果と前記音の特徴が表されている前記部分に基づいて前記音を判定した結果とに基づいて、前記音を判定するステップと、前記判定するステップによる前記音の判定結果を出力するステップとを有する、音判定方法である。
（１３）本発明の一態様は、コンピュータが実行する学習モデル作成方法であって、音データを変換した音画像を示す情報が学習データとして含まれ且つ音データによって示される音を識別する情報が教師データとして含まれる学習用データセットを受け付けるステップと、前記受け付けるステップで受け付けた前記学習用データセットに基づいて、前記音データを変換した前記音画像を説明変数、前記音データによって示される前記音を識別する情報を目的変数として、音データを変換した音画像と音データによって示される音を識別する情報との関係を機械学習することによって学習モデルを作成するステップと、前記作成するステップで作成した前記学習モデルを出力するステップとを有する、学習モデル作成方法である。
（１３）本発明の一態様は、コンピュータが実行する学習モデル作成方法であって、音データを変換した音画像を示す情報が学習データとして含まれ且つ音データによって示される音を識別する情報が教師データとして含まれる学習用データセットを受け付けるステップと、前記受け付けるステップで受け付けた前記学習用データセットに基づいて、前記音データを変換した前記音画像を説明変数、前記音データによって示される前記音を識別する情報を目的変数として、音データを変換した音画像と音データによって示される音を識別する情報との関係を機械学習することによって学習モデルを作成するステップと、前記作成するステップで作成した前記学習モデルを出力するステップとを有する、学習モデル作成方法である。
【0009】
（１４）本発明の一態様は、コンピュータに、音データを受け付けるステップと、前記受け付けるステップで受け付けた前記音データから、音の特徴が表されている部分を抽出するステップと、前記受け付けるステップで受け付けた前記音データに基づいて、前記音を判定するステップと、前記抽出するステップで抽出した前記音の特徴が表されている前記部分に基づいて、前記音を判定するステップと、前記音データに基づいて前記音を判定した結果と前記音の特徴が表されている前記部分に基づいて前記音を判定した結果とに基づいて、前記音を判定するステップと、前記判定するステップによる前記音の判定結果を出力するステップとを実行させる、プログラムである。
（１５）本発明の一態様は、コンピュータに、音データを変換した音画像を示す情報が学習データとして含まれ且つ音データによって示される音を識別する情報が教師データとして含まれる学習用データセットを受け付けるステップと、前記受け付けるステップで受け付けた前記学習用データセットに基づいて、前記音データを変換した前記音画像を説明変数、前記音データによって示される前記音を識別する情報を目的変数として、音データを変換した音画像情報と音データによって示される音を識別する情報との関係を機械学習することによって学習モデルを作成するステップと、前記作成するステップで作成した前記学習モデルを出力するステップとを実行させる、プログラムである。
（１５）本発明の一態様は、コンピュータに、音データを変換した音画像を示す情報が学習データとして含まれ且つ音データによって示される音を識別する情報が教師データとして含まれる学習用データセットを受け付けるステップと、前記受け付けるステップで受け付けた前記学習用データセットに基づいて、前記音データを変換した前記音画像を説明変数、前記音データによって示される前記音を識別する情報を目的変数として、音データを変換した音画像情報と音データによって示される音を識別する情報との関係を機械学習することによって学習モデルを作成するステップと、前記作成するステップで作成した前記学習モデルを出力するステップとを実行させる、プログラムである。
【発明の効果】
【0010】
本発明によれば、音を判定できる音判定システム、学習モデル作成システム、音判定方法、学習モデル作成方法およびプログラムを提供できる。
【図面の簡単な説明】
【0011】
【図1】本実施形態の音判定システム１００の一例を示す図である。
【図2A】音画像の一例を示す図である。
【図2B】音画像の一例を示す図である。
【図2C】音画像の一例を示す図である。
【図2D】音画像の一例を示す図である。
【図3】指紋画像の一例を説明するための図である。
【図4】本実施形態に係る第１学習モデル作成システム２００の一例を示す図である。
【図5】本実施形態に係る第２学習モデル作成システム３００の一例を示す図である。
【図6】本実施形態に係る音判定システム１００の動作の一例を示すフロー図である。
【図7】本実施形態に係る第１学習モデル作成システム２００の動作の一例を示すフロー図である。
【図8】本実施形態に係る第２学習モデル作成システム３００の動作の一例を示すフロー図である。
【図9】実施形態の変形例１の音判定システム１００ａの一例を示す図である。
【図10】実施形態の変形例１に係る第１学習ＤＢ作成システム４００の一例を示す図である。
【図11】実施形態の変形例１に係る第２学習モデル作成システム３００ａの一例を示す図である。
【図12】実施形態の変形例１にかかる音判定システム１００ａの動作の一例を示す図である。
【図13】実施形態の変形例１に係る第１学習ＤＢ作成システム４００の動作の一例を示すフロー図である。
【図14】実施形態の変形例１に係る第２学習モデル作成システム３００ａの動作の一例を示すフロー図である。
【図15】実施形態の変形例２の音判定システム１００ｂの一例を示す図である。
【図16】実施形態の変形例２に係る音判定システム１００ｂの動作の一例を示すフロー図である。
【発明を実施するための形態】
【0012】
以下、実施形態の音判定システム、学習モデル作成システム、音判定方法、学習モデル作成方法およびプログラムを、図面を参照して説明する。以下で説明する実施形態は一例に過ぎず、本発明が適用される実施形態は、以下の実施形態に限られない。
なお、実施形態を説明するための全図において、同一の機能を有するものは同一符号を用い、繰り返しの説明は省略する。
また、本願でいう「ＸＸに基づいて」とは、「少なくともＸＸに基づく」ことを意味し、ＸＸに加えて別の要素に基づく場合も含む。また、「ＸＸに基づいて」とは、ＸＸを直接に用いる場合に限定されず、ＸＸに対して演算や加工が行われたものに基づく場合も含む。「ＸＸ」は、任意の要素（例えば、任意の情報）である。
なお、実施形態を説明するための全図において、同一の機能を有するものは同一符号を用い、繰り返しの説明は省略する。
また、本願でいう「ＸＸに基づいて」とは、「少なくともＸＸに基づく」ことを意味し、ＸＸに加えて別の要素に基づく場合も含む。また、「ＸＸに基づいて」とは、ＸＸを直接に用いる場合に限定されず、ＸＸに対して演算や加工が行われたものに基づく場合も含む。「ＸＸ」は、任意の要素（例えば、任意の情報）である。
【0013】
（実施形態）
（音判定システム）
図１は、本実施形態の音判定システム１００の一例を示す図である。音判定システム１００には、音ファイルが入力される。音判定システム１００は、入力された音ファイルから音の波形を取得する。音判定システム１００は、取得した音の波形を解析することによって音データを取得する。
（音判定システム）
図１は、本実施形態の音判定システム１００の一例を示す図である。音判定システム１００には、音ファイルが入力される。音判定システム１００は、入力された音ファイルから音の波形を取得する。音判定システム１００は、取得した音の波形を解析することによって音データを取得する。
【0014】
音判定システム１００は、取得した音データを受け付ける。音判定システム１００は、受け付けた音データから、音の特徴が表されている部分を抽出する。音判定システム１００は、音データに基づいて音を判定するとともに、音の特徴が表されている部分に基づいて音を判定する。音判定システム１００は、音データに基づいて音を判定した結果と、音の特徴が表されている部分に基づいて音を判定した結果とに基づいて、音を判定する。音判定システム１００は、音の判定結果を出力する。
【0015】
音判定システム１００は、パーソナルコンピュータ、サーバ、スマートフォン、タブレットコンピュータ又は産業用コンピュータ等の装置によって実現される。音判定システム１００は、入力部１０２と、解析部１０３と、受付部１０４と、抽出部１０６と、第１処理部１０８－１と、第２処理部１０８－２と、判定部１１０と、出力部１１２と、記憶部１１４とを備える。
【0016】
入力部１０２は、情報を入力する。一例として、入力部１０２は、キーボードおよびマウスなどの操作部を有してもよい。この場合、入力部１０２は、ユーザによって当該操作部に対して行われる操作に応じた情報を入力する。他の例として、入力部１０２は、外部の装置から情報を入力してもよい。当該外部の装置は、例えば、可搬な記憶媒体であってもよい。入力部１０２には、音ファイルが入力される。音ファイルの一例は、ＲＩＦＦ ｗａｖｅｆｏｒｍ Ａｕｄｉｏ Ｆｏｒｍａｔ（ＷＡＶ、ワヴ）と呼ばれる音声データ用のコンテナ規格にしたがって作成されたものである。
記憶部１１４は、ＨＤＤ（ｈａｒｄ ｄｉｓｋ ｄｒｉｖｅ）やフラッシュメモリ、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などにより実現される。
記憶部１１４は、ＨＤＤ（ｈａｒｄ ｄｉｓｋ ｄｒｉｖｅ）やフラッシュメモリ、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などにより実現される。
【0017】
解析部１０３は、入力部１０２から音ファイルを取得する。解析部１０３は、取得した音ファイルから音の波形を取得し、取得した音の波形を解析する。具体的には、解析部１０３は、音の波形を高速フーリエ変換し、音の波形を高速フーリエ変換した結果に対して、Ａ特性と窓関数でフィルタをかける。
Ａ特性とは、騒音計による測定に使われる、人間の聴覚を考慮した周波数重み付け特性である。音の大きさは音圧のみではなく周波数にも左右される。人間の聴覚は、約１０００Ｈｚ以下で徐々に感度が下がり、一般的に２０Ｈｚを下回ると聞こえなくなる。解析部１０３は、Ａ特性と窓関数でフィルタをかけた結果の低周波領域にフィルタをかけることで、音データを取得する。
Ａ特性とは、騒音計による測定に使われる、人間の聴覚を考慮した周波数重み付け特性である。音の大きさは音圧のみではなく周波数にも左右される。人間の聴覚は、約１０００Ｈｚ以下で徐々に感度が下がり、一般的に２０Ｈｚを下回ると聞こえなくなる。解析部１０３は、Ａ特性と窓関数でフィルタをかけた結果の低周波領域にフィルタをかけることで、音データを取得する。
【0018】
受付部１０４は、解析部１０３から音データを取得する。受付部１０４は、取得した音データを受け付ける。
抽出部１０６は、受付部１０４から音データを取得し、取得した音データから、音の特性が強く出ている区間を探索する。以下、「音の特性が強く出ている区間」を指紋区間とも記載する。例えば、抽出部１０６は、音データに基づいて、音圧が最大値から例えば５％から１０％に該当する部分を指紋区間として探索する。ここで、５％から１０％は一例であり、適宜変更可能である。抽出部１０６は、指紋区間の探索結果に基づいて、一又は複数の指紋区間を抽出する。
抽出部１０６は、受付部１０４から音データを取得し、取得した音データから、音の特性が強く出ている区間を探索する。以下、「音の特性が強く出ている区間」を指紋区間とも記載する。例えば、抽出部１０６は、音データに基づいて、音圧が最大値から例えば５％から１０％に該当する部分を指紋区間として探索する。ここで、５％から１０％は一例であり、適宜変更可能である。抽出部１０６は、指紋区間の探索結果に基づいて、一又は複数の指紋区間を抽出する。
【0019】
第１処理部１０８－１は、抽出部１０６から音データを取得する。第１処理部１０８－１は、取得した音データに基づいて、音を判定する。具体的には第１処理部１０８－１は、音データを音画像に変換する。例えば、音画像は、周波数、時間及び音圧によって表される画像である。例えば、音画像は、周波数軸、時間軸及び音圧軸の３軸によって表される。
図２Ａから図２Ｄは、音画像の一例を示す図である。図２Ａから図２Ｄにおいて、横軸は時間であり、縦軸は周波数であり、紙面に垂直な軸は音圧である。音圧は色の濃淡で表している。色が濃くなるにしたがって音圧が高くなる。
図２Ａから図２Ｄは、音画像の一例を示す図である。図２Ａから図２Ｄにおいて、横軸は時間であり、縦軸は周波数であり、紙面に垂直な軸は音圧である。音圧は色の濃淡で表している。色が濃くなるにしたがって音圧が高くなる。
【0020】
音画像には、図２Ａに示すように、音が鳴った又は鳴っていないを判定するための画像が含まれる。音が鳴った又は鳴っていないを判定するための画像は、音が鳴った場合には音圧が現れ、音が鳴っていない場合には音圧が現れない。音画像には、図２Ｂに示すようにブザーが鳴ったことを判定するための画像が含まれる。ブザーが鳴ったことを判定するための画像は、所定の時間に音圧が現れる。
音画像には、図２Ｃに示すようにメロディが鳴ったことを判定するための画像が含まれる。メロディが鳴ったことを判定するための画像は、メロディに特有の音圧が現れる。音画像には、図２Ｄに示すように機械アナウンスを判定するための画像が含まれる。機械アナウンスを判定するための画像は、機械アナウンスに特有の音圧が現れる。
図２Ａから図２Ｄに示したのは一例であり、他の音を判別するための音画像を使用して音を判別するようにしてもよい。図１に戻り説明を続ける。
音画像には、図２Ｃに示すようにメロディが鳴ったことを判定するための画像が含まれる。メロディが鳴ったことを判定するための画像は、メロディに特有の音圧が現れる。音画像には、図２Ｄに示すように機械アナウンスを判定するための画像が含まれる。機械アナウンスを判定するための画像は、機械アナウンスに特有の音圧が現れる。
図２Ａから図２Ｄに示したのは一例であり、他の音を判別するための音画像を使用して音を判別するようにしてもよい。図１に戻り説明を続ける。
【0021】
第１処理部１０８－１は、第１学習済モデル１０９－１を備えている。第１学習済モデル１０９－１は、音データを変換した音画像を説明変数（特徴量）、音データによって示される音を識別する情報を目的変数として、音データを変換した音画像と音データによって示される音を識別する情報との関係を機械学習したものである。以下、音を識別する情報を、音情報とも記載する。第１学習済モデル１０９－１は、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ： ＣＮＮ）を用いて作成されたものであってもよい。畳み込みニューラルネットワークは、層間を共通重みの局所結合で繋いだニューラルネットワークである。
第１処理部１０８－１は、音データを変換することによって取得した音画像を、第１学習済モデル１０９－１に入力し、入力した音画像に対して、第１学習済モデル１０９－１が出力した音情報と、音画像と音画像の特徴量との一致度とを取得する。
第１処理部１０８－１は、音データを変換することによって取得した音画像を、第１学習済モデル１０９－１に入力し、入力した音画像に対して、第１学習済モデル１０９－１が出力した音情報と、音画像と音画像の特徴量との一致度とを取得する。
【0022】
第２処理部１０８－２は、抽出部１０６から一又は複数の指紋区間を取得する。第２処理部１０８－２は、取得した一又は複数の指紋区間に基づいて、音を判定する。具体的には第２処理部１０８－２は、一又は複数の指紋区間の各々を音画像に変換する。以下、指紋区間を音画像に変換したものを指紋画像という。指紋画像は、周波数、時間及び音圧によって表される画像である。例えば、指紋画像は、周波数軸、時間軸及び音圧軸の３軸によって表される。
【0023】
図３は、指紋画像の一例を説明するための図である。図３において、横軸は時間であり、縦軸は周波数であり、紙面に垂直方向の軸は音圧である。指紋画像ＦＩは、音データにおいて音の特性が強く出ている区間を画像化したものである。図３に示される例では、音画像ＳＩに、指紋画像ＦＩ０１、指紋画像ＦＩ０２、指紋画像ＦＩ０３及び指紋画像ＦＩ０４が含まれる。図１に戻り説明を続ける。
第２処理部１０８－２は、第２学習済モデル１０９－２を備えている。第２学習済モデル１０９－２は、指紋区間を変換した指紋画像を説明変数（特徴量）、音データによって示される音情報を目的変数として、指紋区間を変換した指紋画像と音データによって示される音情報との関係を機械学習したものである。第２学習済モデル１０９－２は、オープンシーヴィ（ＯｐｅｎＣＶ： Ｏｐｅｎ Ｓｏｕｒｃｅ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ Ｌｉｂｒａｒｙ）を用いて作成されたものであってもよい。オープンシーヴィは、画像・動画に関する処理機能をまとめたオープンソースのライブラリである。
第２処理部１０８－２は、指紋区間を変換することによって取得した指紋画像を、第２学習済モデル１０９－２に入力し、入力した指紋画像に対して、第２学習済モデル１０９－２が出力した音情報と、指紋画像と指紋画像の特徴量との一致度とを取得する。
第２処理部１０８－２は、第２学習済モデル１０９－２を備えている。第２学習済モデル１０９－２は、指紋区間を変換した指紋画像を説明変数（特徴量）、音データによって示される音情報を目的変数として、指紋区間を変換した指紋画像と音データによって示される音情報との関係を機械学習したものである。第２学習済モデル１０９－２は、オープンシーヴィ（ＯｐｅｎＣＶ： Ｏｐｅｎ Ｓｏｕｒｃｅ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ Ｌｉｂｒａｒｙ）を用いて作成されたものであってもよい。オープンシーヴィは、画像・動画に関する処理機能をまとめたオープンソースのライブラリである。
第２処理部１０８－２は、指紋区間を変換することによって取得した指紋画像を、第２学習済モデル１０９－２に入力し、入力した指紋画像に対して、第２学習済モデル１０９－２が出力した音情報と、指紋画像と指紋画像の特徴量との一致度とを取得する。
【0024】
判定部１１０は、第１処理部１０８－１から音画像に基づく音情報の判定結果を取得し、第２処理部１０８－２から指紋画像に基づく音情報の判定結果を取得する。判定部１１０は、取得した音画像に基づく音情報の判定結果及び指紋画像に基づく音情報の判定結果に基づいて受付部１０４が受け付けた音データに含まれる音の音情報を判定する。
判定部１１０は、音画像に基づく音情報の判定結果と指紋画像に基づく音情報の判定結果とが一致している場合には、その音情報を、受付部１０４が受け付けた音データに含まれる音の音情報とする。判定部１１０は、音画像に基づく音情報の判定結果と指紋画像に基づく音情報の判定結果とが一致していない場合には、音画像と音画像の特徴量との一致度と、指紋画像と指紋画像の特徴量との一致度とに基づいて、一致度が高い方の判定結果を、受付部１０４が受け付けた音データに含まれる音の音情報とする。また、判定部１１０は、音画像に基づく音情報の判定結果を、指紋画像に基づく音情報の判定結果よりも優先してもよい。
判定部１１０は、音画像に基づく音情報の判定結果と指紋画像に基づく音情報の判定結果とが一致している場合には、その音情報を、受付部１０４が受け付けた音データに含まれる音の音情報とする。判定部１１０は、音画像に基づく音情報の判定結果と指紋画像に基づく音情報の判定結果とが一致していない場合には、音画像と音画像の特徴量との一致度と、指紋画像と指紋画像の特徴量との一致度とに基づいて、一致度が高い方の判定結果を、受付部１０４が受け付けた音データに含まれる音の音情報とする。また、判定部１１０は、音画像に基づく音情報の判定結果を、指紋画像に基づく音情報の判定結果よりも優先してもよい。
【0025】
出力部１１２は、判定部１１０による音データに含まれる音の音情報の判定結果を取得する。出力部１１２は、取得した音の判定結果を出力する。出力部１１２は、音の判定結果を、音声で出力してもよいし、表示部（図示なし）に表示することによって出力してもよい。また、出力部１１２は、音の判定結果を、ネットワーク（図示なし）を介して、他の装置へ送信するようにしてもよい。
【0026】
入力部１０２、解析部１０３、受付部１０４、抽出部１０６、第１処理部１０８－１、第２処理部１０８－２、判定部１１０および出力部１１２の全部または一部は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などのプロセッサが記憶部１１４に格納されたプログラムを実行することにより実現される機能部（以下、ソフトウェア機能部と称する）である。
なお、入力部１０２、解析部１０３、受付部１０４、抽出部１０６、第１処理部１０８－１、第２処理部１０８－２、判定部１１０および出力部１１２の全部または一部は、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、またはＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）などのハードウェアにより実現されてもよく、ソフトウェア機能部とハードウェアとの組み合わせによって実現されてもよい。
なお、入力部１０２、解析部１０３、受付部１０４、抽出部１０６、第１処理部１０８－１、第２処理部１０８－２、判定部１１０および出力部１１２の全部または一部は、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、またはＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）などのハードウェアにより実現されてもよく、ソフトウェア機能部とハードウェアとの組み合わせによって実現されてもよい。
【0027】
次に、第１学習モデル作成システム２００の一例について説明する。
（第１学習モデル作成システム２００）
図４は、本実施形態に係る第１学習モデル作成システム２００の一例を示す図である。
第１学習モデル作成システム２００は、第１学習済モデル１０９－１を作成する。第１学習モデル作成システム２００は、学習用データセットを受け付ける。学習用データセットには、音データを変換した音画像を示す情報が学習データとして含まれ且つ音データによって示される音情報が教師データとして含まれる。
第１学習モデル作成システム２００は、受け付けた学習用データセットに基づいて、音データを変換した音画像と音データによって示される音情報との関係を機械学習することによって学習済モデルを作成する。
（第１学習モデル作成システム２００）
図４は、本実施形態に係る第１学習モデル作成システム２００の一例を示す図である。
第１学習モデル作成システム２００は、第１学習済モデル１０９－１を作成する。第１学習モデル作成システム２００は、学習用データセットを受け付ける。学習用データセットには、音データを変換した音画像を示す情報が学習データとして含まれ且つ音データによって示される音情報が教師データとして含まれる。
第１学習モデル作成システム２００は、受け付けた学習用データセットに基づいて、音データを変換した音画像と音データによって示される音情報との関係を機械学習することによって学習済モデルを作成する。
【0028】
第１学習モデル作成システム２００は、スマートフォン、携帯端末、又はパーソナルコンピュータ、タブレット端末装置、あるいはその他の情報処理機器として実現される。第１学習モデル作成システム２００は、例えば、入力部２１０と、受付部２２０と、処理部２３０と、出力部２４０と、記憶部２５０とを備える。
入力部２１０は、入力デバイスを備える。入力部２１０には、学習用データセットが入力される。入力部２１０は、入力された学習用データセットを取得する。
記憶部２５０は、ＨＤＤやフラッシュメモリ、ＲＡＭ、ＲＯＭなどにより実現される。記憶部２５０には、プログラムが記憶される。
入力部２１０は、入力デバイスを備える。入力部２１０には、学習用データセットが入力される。入力部２１０は、入力された学習用データセットを取得する。
記憶部２５０は、ＨＤＤやフラッシュメモリ、ＲＡＭ、ＲＯＭなどにより実現される。記憶部２５０には、プログラムが記憶される。
【0029】
受付部２２０は、入力部２１０に入力された学習用データセットを取得し、取得した学習用データセットを受け付ける。
処理部２３０は、受付部２２０が受け付けた学習用データセットを取得する。処理部２３０は、取得した学習用データセットに基づいて、音データを変換した音画像を説明変数、音データによって示される音情報を目的変数として、音データを変換した音画像情報と音データによって示される音情報との関係を機械学習することによって学習モデル２３２を作成する。
例えば、処理部２３０は、音データを変換した音画像を入力データ、音データによって示される音情報を教師データとして使用して機械学習する。本実施形態では、学習モデル２３２の一例として畳み込みニューラルネットワークを用いた場合について説明を続ける。
処理部２３０は、受付部２２０が受け付けた学習用データセットを取得する。処理部２３０は、取得した学習用データセットに基づいて、音データを変換した音画像を説明変数、音データによって示される音情報を目的変数として、音データを変換した音画像情報と音データによって示される音情報との関係を機械学習することによって学習モデル２３２を作成する。
例えば、処理部２３０は、音データを変換した音画像を入力データ、音データによって示される音情報を教師データとして使用して機械学習する。本実施形態では、学習モデル２３２の一例として畳み込みニューラルネットワークを用いた場合について説明を続ける。
【0030】
出力部２４０は、処理部２３０が作成した学習モデル２３２を取得する。出力部２４０は、取得した学習モデル２３２を出力する。出力部２４０は、学習モデル２３２を、ネットワーク（図示なし）を介して、音判定システム１００へ送信してもよい。
音判定システム１００は、第１学習モデル作成システム２００が送信した学習モデル２３２を受信し、受信した学習モデル２３２を、第１学習済モデル１０９－１として使用してもよい。
音判定システム１００は、第１学習モデル作成システム２００が送信した学習モデル２３２を受信し、受信した学習モデル２３２を、第１学習済モデル１０９－１として使用してもよい。
【0031】
入力部２１０と、受付部２２０と、処理部２３０と、出力部２４０との全部または一部は、例えば、ＣＰＵなどのプロセッサが記憶部２５０に格納されたプログラムを実行することにより実現される機能部（以下、ソフトウェア機能部と称する）である。なお、入力部２１０と、受付部２２０と、処理部２３０と、出力部２４０との全部または一部は、ＬＳＩ、ＡＳＩＣ、またはＦＰＧＡなどのハードウェアにより実現されてもよく、ソフトウェア機能部とハードウェアとの組み合わせによって実現されてもよい。
【0032】
次に、第２学習モデル作成システム３００の一例について説明する。
（第２学習モデル作成システム）
図５は、本実施形態に係る第２学習モデル作成システム３００の一例を示す図である。
第２学習モデル作成システム３００は、第２学習済モデル１０９－２を作成する。第２学習モデル作成システム３００は、学習用データセットを受け付ける。学習用データセットには、音データから抽出した指紋区間を変換した指紋画像が学習データとして含まれ且つ音データによって示される音情報が教師データとして含まれる。
第２学習モデル作成システム３００は、受け付けた学習用データセットに基づいて、指紋区間を変換した指紋画像と音データによって示される音情報との関係を機械学習することによって学習済モデルを作成する。
（第２学習モデル作成システム）
図５は、本実施形態に係る第２学習モデル作成システム３００の一例を示す図である。
第２学習モデル作成システム３００は、第２学習済モデル１０９－２を作成する。第２学習モデル作成システム３００は、学習用データセットを受け付ける。学習用データセットには、音データから抽出した指紋区間を変換した指紋画像が学習データとして含まれ且つ音データによって示される音情報が教師データとして含まれる。
第２学習モデル作成システム３００は、受け付けた学習用データセットに基づいて、指紋区間を変換した指紋画像と音データによって示される音情報との関係を機械学習することによって学習済モデルを作成する。
【0033】
第２学習モデル作成システム３００は、スマートフォン、携帯端末、又はパーソナルコンピュータ、タブレット端末装置、あるいはその他の情報処理機器として実現される。第２学習モデル作成システム３００は、例えば、入力部３１０と、受付部３２０と、処理部３３０と、出力部３４０と、記憶部３５０とを備える。
入力部３１０は、入力デバイスを備える。入力部３１０には、学習用データセットが入力される。入力部３１０は、入力された学習用データセットを取得する。
記憶部３５０は、ＨＤＤやフラッシュメモリ、ＲＡＭ、ＲＯＭなどにより実現される。記憶部３５０には、プログラムが記憶される。
入力部３１０は、入力デバイスを備える。入力部３１０には、学習用データセットが入力される。入力部３１０は、入力された学習用データセットを取得する。
記憶部３５０は、ＨＤＤやフラッシュメモリ、ＲＡＭ、ＲＯＭなどにより実現される。記憶部３５０には、プログラムが記憶される。
【0034】
受付部３２０は、入力部３１０に入力された学習用データセットを取得し、取得した学習用データセットを受け付ける。
処理部３３０は、受付部３２０が受け付けた学習用データセットを取得する。処理部３３０は、取得した学習用データセットに基づいて、指紋区間を変換した指紋画像を説明変数、音声データによって示される音情報を目的変数として、指紋区間を変換した指紋画像と、音声データによって示される音情報との関係を機械学習することによって学習モデル３３２を作成する。
例えば、処理部３３０は、指紋区間を変換した指紋画像（情報）を入力データ、音声データによって示される音情報を教師データとして使用して機械学習する。本実施形態では、学習モデル３３２の一例としてオープンシーヴィを用いた場合について説明を続ける。
処理部３３０は、受付部３２０が受け付けた学習用データセットを取得する。処理部３３０は、取得した学習用データセットに基づいて、指紋区間を変換した指紋画像を説明変数、音声データによって示される音情報を目的変数として、指紋区間を変換した指紋画像と、音声データによって示される音情報との関係を機械学習することによって学習モデル３３２を作成する。
例えば、処理部３３０は、指紋区間を変換した指紋画像（情報）を入力データ、音声データによって示される音情報を教師データとして使用して機械学習する。本実施形態では、学習モデル３３２の一例としてオープンシーヴィを用いた場合について説明を続ける。
【0035】
出力部３４０は、処理部３３０が作成した学習モデル３３２を取得する。出力部３４０は、取得した学習モデル３３２を出力する。出力部３４０は、学習モデル３３２を、ネットワーク（図示なし）を介して、音判定システム１００へ送信してもよい。
この場合、音判定システム１００は、第２学習モデル作成システム３００が送信した学習モデル３３２を受信し、受信した学習モデル３３２を、第２学習済モデル１０９－２として使用してもよい。
この場合、音判定システム１００は、第２学習モデル作成システム３００が送信した学習モデル３３２を受信し、受信した学習モデル３３２を、第２学習済モデル１０９－２として使用してもよい。
【0036】
入力部３１０と、受付部３２０と、処理部３３０と、出力部３４０との全部または一部は、例えば、ＣＰＵなどのプロセッサが記憶部３５０に格納されたプログラムを実行することにより実現される機能部（以下、ソフトウェア機能部と称する）である。なお、入力部３１０と、受付部３２０と、処理部３３０と、出力部３４０との全部または一部は、ＬＳＩ、ＡＳＩＣ、またはＦＰＧＡなどのハードウェアにより実現されてもよく、ソフトウェア機能部とハードウェアとの組み合わせによって実現されてもよい。
【0037】
（音判定システム１００の動作）
図６は、本実施形態に係る音判定システム１００の動作の一例を示すフロー図である。図６を参照して、音判定システム１００が、入力された音ファイルから得られる音データよって示される音情報を判定する処理について説明する。ここでは、音判定システム１００において、第１処理部１０８－１には第１学習済モデル１０９－１が記憶され、第２処理部１０８－２には第２学習済モデル１０９－２が記憶されている場合について説明する。
図６は、本実施形態に係る音判定システム１００の動作の一例を示すフロー図である。図６を参照して、音判定システム１００が、入力された音ファイルから得られる音データよって示される音情報を判定する処理について説明する。ここでは、音判定システム１００において、第１処理部１０８－１には第１学習済モデル１０９－１が記憶され、第２処理部１０８－２には第２学習済モデル１０９－２が記憶されている場合について説明する。
【0038】
（ステップＳ１－１）
入力部１０２に、音ファイルが入力される。
（ステップＳ２－１）
解析部１０３は、入力部１０２から音ファイルを取得する。解析部１０３は、取得した音ファイルから音の波形を取得し、取得した音の波形を解析する。
（ステップＳ３－１）
受付部１０４は、解析部１０３から音データを取得する。受付部１０４は、取得した音データを受け付ける。
入力部１０２に、音ファイルが入力される。
（ステップＳ２－１）
解析部１０３は、入力部１０２から音ファイルを取得する。解析部１０３は、取得した音ファイルから音の波形を取得し、取得した音の波形を解析する。
（ステップＳ３－１）
受付部１０４は、解析部１０３から音データを取得する。受付部１０４は、取得した音データを受け付ける。
【0039】
（ステップＳ４－１）
抽出部１０６は、受付部１０４から音データを取得し、取得した音データから、指紋区間を抽出する。
（ステップＳ５－１）
第１処理部１０８－１は、受付部１０４から音データを取得する。第１処理部１０８－１は、取得した音データを音画像に変換する。第１処理部１０８－１は、音データを変換することによって取得した音画像を、第１学習済モデル１０９－１に入力し、入力した音画像に対して、第１学習済モデル１０９－１が出力した音情報と、音画像と音画像の特徴量との一致度とを取得する。
（ステップＳ６－１）
第２処理部１０８－２は、抽出部１０６から指紋区間を取得する。第２処理部１０８－２は、取得した指紋区間を指紋画像に変換する。第２処理部１０８－２は、指紋区間を変換することによって取得した指紋画像を、第２学習済モデル１０９－２に入力し、入力した指紋画像に対して、第２学習済モデル１０９－２が出力した音情報と、指紋画像と指紋画像の特徴量との一致度とを取得する。
抽出部１０６は、受付部１０４から音データを取得し、取得した音データから、指紋区間を抽出する。
（ステップＳ５－１）
第１処理部１０８－１は、受付部１０４から音データを取得する。第１処理部１０８－１は、取得した音データを音画像に変換する。第１処理部１０８－１は、音データを変換することによって取得した音画像を、第１学習済モデル１０９－１に入力し、入力した音画像に対して、第１学習済モデル１０９－１が出力した音情報と、音画像と音画像の特徴量との一致度とを取得する。
（ステップＳ６－１）
第２処理部１０８－２は、抽出部１０６から指紋区間を取得する。第２処理部１０８－２は、取得した指紋区間を指紋画像に変換する。第２処理部１０８－２は、指紋区間を変換することによって取得した指紋画像を、第２学習済モデル１０９－２に入力し、入力した指紋画像に対して、第２学習済モデル１０９－２が出力した音情報と、指紋画像と指紋画像の特徴量との一致度とを取得する。
【0040】
（ステップＳ７－１）
判定部１１０は、第１処理部１０８－１から音画像を入力することによって取得した音情報と、音画像と音画像の特徴量との一致度とを取得し、第２処理部１０８－２から指紋画像を入力することによって取得した音情報と、指紋画像と指紋画像の特徴量との一致度とを取得する。判定部１１０は、音画像を入力することによって取得した音情報と、音画像と音画像の特徴量との一致度及び指紋画像を入力することによって取得した音情報と、指紋画像と指紋画像の特徴量との一致度とに基づいて受付部１０４が受け付けた音データに含まれる音の音情報を判定する。
（ステップＳ８－１）
出力部１１２は、判定部１１０から受付部１０４が受け付けた音データに含まれる音の音情報の判定結果を取得する。出力部１１２は、取得した音の判定結果を出力する。
判定部１１０は、第１処理部１０８－１から音画像を入力することによって取得した音情報と、音画像と音画像の特徴量との一致度とを取得し、第２処理部１０８－２から指紋画像を入力することによって取得した音情報と、指紋画像と指紋画像の特徴量との一致度とを取得する。判定部１１０は、音画像を入力することによって取得した音情報と、音画像と音画像の特徴量との一致度及び指紋画像を入力することによって取得した音情報と、指紋画像と指紋画像の特徴量との一致度とに基づいて受付部１０４が受け付けた音データに含まれる音の音情報を判定する。
（ステップＳ８－１）
出力部１１２は、判定部１１０から受付部１０４が受け付けた音データに含まれる音の音情報の判定結果を取得する。出力部１１２は、取得した音の判定結果を出力する。
【0041】
（第１学習モデル作成システム２００の動作）
図７は、本実施形態に係る第１学習モデル作成システム２００の動作の一例を示すフロー図である。図７を参照して、第１学習モデル作成システム２００が、入力された学習用データセットから得られる音データを変換した音画像を示す情報及び音データによって示される音情報に基づいて、第１学習済モデル１９０－１を作成する処理について説明する。ここでは、複数の学習用データセットが用意されている場合について説明する。
図７は、本実施形態に係る第１学習モデル作成システム２００の動作の一例を示すフロー図である。図７を参照して、第１学習モデル作成システム２００が、入力された学習用データセットから得られる音データを変換した音画像を示す情報及び音データによって示される音情報に基づいて、第１学習済モデル１９０－１を作成する処理について説明する。ここでは、複数の学習用データセットが用意されている場合について説明する。
【0042】
（ステップＳ１－２）
入力部２１０に、学習用データセットが入力される。入力部２１０は、入力された学習用データセットを取得する。
（ステップＳ２－２）
受付部２２０は、入力部２１０に入力された学習用データセットを取得し、取得した学習用データセットを受け付ける。
（ステップＳ３－２）
処理部２３０は、受付部２２０が受け付けた学習用データセットを取得する。処理部２３０は、取得した学習用データセットに基づいて、音データを変換した音画像を説明変数、音データによって示される音情報を目的変数として、音データを変換した音画像と音データによって示される音情報との関係を機械学習することによって学習モデル２３２を作成する。
入力部２１０に、学習用データセットが入力される。入力部２１０は、入力された学習用データセットを取得する。
（ステップＳ２－２）
受付部２２０は、入力部２１０に入力された学習用データセットを取得し、取得した学習用データセットを受け付ける。
（ステップＳ３－２）
処理部２３０は、受付部２２０が受け付けた学習用データセットを取得する。処理部２３０は、取得した学習用データセットに基づいて、音データを変換した音画像を説明変数、音データによって示される音情報を目的変数として、音データを変換した音画像と音データによって示される音情報との関係を機械学習することによって学習モデル２３２を作成する。
【0043】
（ステップＳ４－２）
処理部２３０は、機械学習を終了するか否かを決定する。具体的には、処理部２３０は、機械学習を行っていない学習用データセットがある場合には機械学習を継続すると決定し、機械学習を行っていない学習用データセットがない場合には機械学習を終了すると決定する。機械学習を継続すると決定した場合にはステップＳ１－２へ移行する。
（ステップＳ５－２）
機械学習を終了すると決定した場合に、出力部２４０は、処理部２３０が作成した学習モデル２３２を取得する。出力部２４０は、取得した学習モデル２３２を出力する。出力部２４０は、学習モデル２３２を、ネットワーク（図示なし）を介して、音判定システム１００へ送信してもよい。
音判定システム１００は、第１学習モデル作成システム２００が送信した学習モデル２３２を受信し、受信した学習モデル２３２を、第１学習済モデル１０９－１として使用してもよい。
処理部２３０は、機械学習を終了するか否かを決定する。具体的には、処理部２３０は、機械学習を行っていない学習用データセットがある場合には機械学習を継続すると決定し、機械学習を行っていない学習用データセットがない場合には機械学習を終了すると決定する。機械学習を継続すると決定した場合にはステップＳ１－２へ移行する。
（ステップＳ５－２）
機械学習を終了すると決定した場合に、出力部２４０は、処理部２３０が作成した学習モデル２３２を取得する。出力部２４０は、取得した学習モデル２３２を出力する。出力部２４０は、学習モデル２３２を、ネットワーク（図示なし）を介して、音判定システム１００へ送信してもよい。
音判定システム１００は、第１学習モデル作成システム２００が送信した学習モデル２３２を受信し、受信した学習モデル２３２を、第１学習済モデル１０９－１として使用してもよい。
【0044】
（第２学習モデル作成システム３００の動作）
図８は、本実施形態に係る第２学習モデル作成システム３００の動作の一例を示すフロー図である。図８を参照して、第２学習モデル作成システム３００が、入力された学習用データセットから得られる指紋区間を変換した指紋画像及び音データによって示される音情報に基づいて、第２学習済モデル１９０－２を作成する処理について説明する。ここでは、複数の学習用データセットが用意されている場合について説明する。
（ステップＳ１－３）
入力部３１０に、学習用データセットが入力される。入力部３１０は、入力された学習用データセットを取得する。
（ステップＳ２－３）
受付部３２０は、入力部３１０に入力された学習用データセットを取得し、取得した学習用データセットを受け付ける。
（ステップＳ３－３）
処理部３３０は、受付部３２０が受け付けた学習用データセットを取得する。処理部３３０は、取得した学習用データセットに基づいて、指紋区間を変換した指紋画像を説明変数、音データによって示される音情報を目的変数として、指紋区間を変換した指紋画像と指紋区間によって示される音情報との関係を機械学習することによって学習モデル３３２を作成する。
図８は、本実施形態に係る第２学習モデル作成システム３００の動作の一例を示すフロー図である。図８を参照して、第２学習モデル作成システム３００が、入力された学習用データセットから得られる指紋区間を変換した指紋画像及び音データによって示される音情報に基づいて、第２学習済モデル１９０－２を作成する処理について説明する。ここでは、複数の学習用データセットが用意されている場合について説明する。
（ステップＳ１－３）
入力部３１０に、学習用データセットが入力される。入力部３１０は、入力された学習用データセットを取得する。
（ステップＳ２－３）
受付部３２０は、入力部３１０に入力された学習用データセットを取得し、取得した学習用データセットを受け付ける。
（ステップＳ３－３）
処理部３３０は、受付部３２０が受け付けた学習用データセットを取得する。処理部３３０は、取得した学習用データセットに基づいて、指紋区間を変換した指紋画像を説明変数、音データによって示される音情報を目的変数として、指紋区間を変換した指紋画像と指紋区間によって示される音情報との関係を機械学習することによって学習モデル３３２を作成する。
【0045】
（ステップＳ４－３）
処理部３３０は、機械学習を終了するか否かを決定する。具体的には、処理部３３０は、機械学習を行っていない学習用データセットがある場合には機械学習を継続すると決定し、機械学習を行っていない学習用データセットがない場合には機械学習を終了すると決定する。機械学習を継続すると決定した場合にはステップＳ１－３へ移行する。
（ステップＳ５－３）
機械学習を終了すると決定した場合に、出力部３４０は、処理部３３０が作成した学習モデル３３２を取得する。出力部３４０は、取得した学習モデル３３２を出力する。出力部３４０は、学習モデル３３２を、ネットワーク（図示なし）を介して、音判定システム１００へ送信してもよい。
音判定システム１００は、第２学習モデル作成システム３００が送信した学習モデル３３２を受信し、受信した学習モデル３３２を、第２学習済モデル１０９－２として使用してもよい。
処理部３３０は、機械学習を終了するか否かを決定する。具体的には、処理部３３０は、機械学習を行っていない学習用データセットがある場合には機械学習を継続すると決定し、機械学習を行っていない学習用データセットがない場合には機械学習を終了すると決定する。機械学習を継続すると決定した場合にはステップＳ１－３へ移行する。
（ステップＳ５－３）
機械学習を終了すると決定した場合に、出力部３４０は、処理部３３０が作成した学習モデル３３２を取得する。出力部３４０は、取得した学習モデル３３２を出力する。出力部３４０は、学習モデル３３２を、ネットワーク（図示なし）を介して、音判定システム１００へ送信してもよい。
音判定システム１００は、第２学習モデル作成システム３００が送信した学習モデル３３２を受信し、受信した学習モデル３３２を、第２学習済モデル１０９－２として使用してもよい。
【0046】
前述した実施形態では、学習モデル３３２の一例としてオープンシーヴィを用いた場合について説明したが、この例に限られない。例えば、ＹＯＬＯ（Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ)が適用されてもよい。ＹＯＬＯは、処理速度が非常に早い物体検出アルゴリズムの１つである。ＹＯＲＯでは、予め画像全体を正方形のグリッドに分割しておき、それぞれのグリッドに対象となる物体が含まれているかどうかを判定する。
本実施形態に係る音判定システムによれば、音判定システム１００は、音データを受け付ける受付部１０４と、受付部１０４が受け付けた音データから、音の特徴が表されている部分を抽出する抽出部１０６と、受付部１０４が受け付けた音データに基づいて、音を判定する第１処理部１０８－１と、抽出部１０６が抽出した音の特徴が表されている部分に基づいて、音を判定する第２処理部１０８－２と、第１処理部１０８－１による音の第１判定結果と第２処理部１０８－２による音の第２判定結果とに基づいて、音を判定する判定部１１０と、判定部１１０による音の判定結果を出力する出力部１１２とを備える。
このように構成することによって、音判定システム１００は、音データに基づいて音を判定するとともに、音データから抽出される音の特徴が表されている部分に基づいて音を判定できるため、音データ及び音データから抽出される音の特徴が表されている部分のいずれか一方に基づいて音を判定する場合と比較して、音の判定精度を向上できる。
本実施形態に係る音判定システムによれば、音判定システム１００は、音データを受け付ける受付部１０４と、受付部１０４が受け付けた音データから、音の特徴が表されている部分を抽出する抽出部１０６と、受付部１０４が受け付けた音データに基づいて、音を判定する第１処理部１０８－１と、抽出部１０６が抽出した音の特徴が表されている部分に基づいて、音を判定する第２処理部１０８－２と、第１処理部１０８－１による音の第１判定結果と第２処理部１０８－２による音の第２判定結果とに基づいて、音を判定する判定部１１０と、判定部１１０による音の判定結果を出力する出力部１１２とを備える。
このように構成することによって、音判定システム１００は、音データに基づいて音を判定するとともに、音データから抽出される音の特徴が表されている部分に基づいて音を判定できるため、音データ及び音データから抽出される音の特徴が表されている部分のいずれか一方に基づいて音を判定する場合と比較して、音の判定精度を向上できる。
【0047】
音判定システム１００において、第１処理部１０８－１は、複数の音声データの各々について音画像と音データの音を識別する情報との関係を機械学習しており、受付部１０４が受け付けた音声データを音画像に変換し、当該機械学習の結果を使用して、音画像に基づいて音を判定する。
このように構成することによって、音判定システム１００は、複数の音声データの各々について音画像と音データの音を識別する情報との関係を機械学習した結果を使用して、音画像に基づいて音を判定することができるため、機械学習した結果を使用しない場合と比較して、音の判定精度を向上できる。
このように構成することによって、音判定システム１００は、複数の音声データの各々について音画像と音データの音を識別する情報との関係を機械学習した結果を使用して、音画像に基づいて音を判定することができるため、機械学習した結果を使用しない場合と比較して、音の判定精度を向上できる。
【0048】
音判定システム１００において、抽出部１０６は、音データから、音の特徴が表されている部分を抽出し、第２処理部１０８－２は、複数の音声データの各々について音の特徴が表されている部分の音画像と音データの音を識別する情報との関係を機械学習しており、抽出部１０６が抽出した音の特徴が表されている部分を音画像に変換し、当該機械学習の結果を使用して、音の特徴が表されている部分の音画像に基づいて音を判定する。
このように構成することによって、音判定システム１００は、複数の音声データの各々について音の特徴が表されている部分の音画像と音データの音を識別する情報との関係を機械学習した結果を使用して、音の特徴が表されている部分の音画像に基づいて音を判定することができるため、機械学習した結果を使用しない場合と比較して、音の判定精度を向上できる。
このように構成することによって、音判定システム１００は、複数の音声データの各々について音の特徴が表されている部分の音画像と音データの音を識別する情報との関係を機械学習した結果を使用して、音の特徴が表されている部分の音画像に基づいて音を判定することができるため、機械学習した結果を使用しない場合と比較して、音の判定精度を向上できる。
【0049】
本実施形態に係る学習モデル作成システムによれば、学習モデル作成システムは、音データを変換した音画像を示す情報が学習データとして含まれ且つ音データによって示される音を識別する情報が教師データとして含まれる学習用データセットを受け付ける受付部２２０と、受付部２２０が受け付けた学習用データセットに基づいて、音データを変換した音画像を説明変数、音データによって示される音を識別する情報を目的変数として、音データを変換した音画像と音データによって示される音を識別する情報との関係を機械学習することによって学習モデルを作成する処理部２３０と、処理部２３０が作成した学習モデルを出力する出力部２４０とを備える。
このように構成することによって、学習モデル作成システムは、音データを変換した音画像を説明変数、音データによって示される音を識別する情報を目的変数として、音データを変換した音画像と音データによって示される音を識別する情報との関係を機械学習することができるため、学習モデルを作成できる。
このように構成することによって、学習モデル作成システムは、音データを変換した音画像を説明変数、音データによって示される音を識別する情報を目的変数として、音データを変換した音画像と音データによって示される音を識別する情報との関係を機械学習することができるため、学習モデルを作成できる。
【0050】
学習モデル作成システムにおいて、受付部２２０は、音データの音の特徴が表されている部分を変換した音部分画像を示す情報が学習データとして含まれ且つ音データによって示される音を識別する情報が教師データとして含まれる学習用データセットを受け付け、処理部２３０は、受付部２２０が受け付けた学習用データセットに基づいて、音データの音の特徴が表されている部分を変換した音部分画像を説明変数、音データによって示される音を識別する情報を目的変数として、音データの音の特徴が表されている部分を変換した音部分画像と音データによって示される音を識別する情報との関係を機械学習することによって学習モデルを作成する。
このように構成することによって、学習モデル作成システムは、音データの音の特徴が表されている部分を変換した音部分画像を説明変数、音データによって示される音を識別する情報を目的変数として、音データの音の特徴が表されている部分を変換した音部分画像情報と音データによって示される音を識別する情報との関係を機械学習することができるため、学習モデルを作成できる。
このように構成することによって、学習モデル作成システムは、音データの音の特徴が表されている部分を変換した音部分画像を説明変数、音データによって示される音を識別する情報を目的変数として、音データの音の特徴が表されている部分を変換した音部分画像情報と音データによって示される音を識別する情報との関係を機械学習することができるため、学習モデルを作成できる。
【0051】
（実施形態の変形例１）
（音判定システム）
図９は、実施形態の変形例１の音判定システム１００ａの一例を示す図である。音判定システム１００ａには、音ファイルが入力される。音判定システム１００ａは、入力された音ファイルから音の波形を取得する。音判定システム１００ａは、取得した音の波形を解析することによって音データを取得する。
（音判定システム）
図９は、実施形態の変形例１の音判定システム１００ａの一例を示す図である。音判定システム１００ａには、音ファイルが入力される。音判定システム１００ａは、入力された音ファイルから音の波形を取得する。音判定システム１００ａは、取得した音の波形を解析することによって音データを取得する。
【0052】
音判定システム１００ａは、取得した音データを受け付ける。音判定システム１００ａは、受け付けた音データから、指紋区間を抽出する。音判定システム１００ａは、音データに基づいて波形情報を取得する。音判定システム１００ａは、波形情報に基づいて音を判定するとともに、指紋区間に基づいて音を判定する。音判定システム１００ａは、波形情報に基づいて音を判定した結果と、指紋区間に基づいて音を判定した結果とに基づいて、音を判定する。音判定システム１００ａは、音の判定結果を出力する。
【0053】
音判定システム１００ａは、パーソナルコンピュータ、サーバ、スマートフォン、タブレットコンピュータ又は産業用コンピュータ等の装置によって実現される。音判定システム１００ａは、入力部１０２と、解析部１０３と、受付部１０４と、抽出部１０６ａと、第１処理部１０８ａ－１と、第２処理部１０８ａ－２と、判定部１１０ａと、出力部１１２と、記憶部１１４とを備える。
記憶部１１４は、ＨＤＤやフラッシュメモリ、ＲＡＭ、ＲＯＭなどにより実現される。記憶部１５０には、プログラムと、波形情報１１４ａとが記憶される。波形情報１１４ａについては後述する。
記憶部１１４は、ＨＤＤやフラッシュメモリ、ＲＡＭ、ＲＯＭなどにより実現される。記憶部１５０には、プログラムと、波形情報１１４ａとが記憶される。波形情報１１４ａについては後述する。
【0054】
抽出部１０６ａは、受付部１０４から音データを取得し、取得した音データから、指紋区間を探索する。抽出部１０６ａは、指紋区間の探索結果に基づいて、指紋区間を抽出する。
抽出部１０６ａは、指紋区間の周波数情報を取得する。抽出部１０６ａは、音データから音の先頭（鳴り始め）を検出する。抽出部１０６ａは、音の先頭の検出結果に基づいて音データから吹鳴区間を取得する。抽出部１０６ａは、取得した吹鳴区間に基づいて吹鳴回数を取得する。
抽出部１０６ａは、取得した指紋区間の周波数情報、音データの吹鳴区間情報及び吹鳴回数情報などの波形情報を、記憶部１１４の波形情報１１４ａに記憶させる。つまり、波形情報には、指紋区間の周波数情報、音データの吹鳴区間情報及び吹鳴回数情報などが含まれる。
抽出部１０６ａは、指紋区間の周波数情報を取得する。抽出部１０６ａは、音データから音の先頭（鳴り始め）を検出する。抽出部１０６ａは、音の先頭の検出結果に基づいて音データから吹鳴区間を取得する。抽出部１０６ａは、取得した吹鳴区間に基づいて吹鳴回数を取得する。
抽出部１０６ａは、取得した指紋区間の周波数情報、音データの吹鳴区間情報及び吹鳴回数情報などの波形情報を、記憶部１１４の波形情報１１４ａに記憶させる。つまり、波形情報には、指紋区間の周波数情報、音データの吹鳴区間情報及び吹鳴回数情報などが含まれる。
【0055】
第１処理部１０８ａ－１は、抽出部１０６ａから波形情報を取得する。第１処理部１０８ａ－１は、取得した波形情報に基づいて、音を判定する。具体的には、第１処理部１０８ａ－１は、第１学習ＤＢ１０９ａ－１を備えている。第１学習ＤＢ１０９ａ－１は、複数の波形情報と、複数の波形情報の各々について波形情報によって示される音情報とを関連付けたものである。
第１処理部１０８ａ－１は、抽出部１０６ａから取得した波形情報と、第１学習ＤＢ１０９ａ－１に含まれる複数の波形情報とを比較し、抽出部１０６ａから取得した波形情報と複数の波形情報の各々との類似度を導出する。第１処理部１０８ａ－１は、抽出部１０６ａから取得した波形情報と複数の波形情報との類似度の導出結果に基づいて、類似度が高い波形情報に関連付けられている音情報を、抽出部１０６ａから取得した波形情報の音情報とする。
第１処理部１０８ａ－１は、抽出部１０６ａから取得した波形情報と、第１学習ＤＢ１０９ａ－１に含まれる複数の波形情報とを比較し、抽出部１０６ａから取得した波形情報と複数の波形情報の各々との類似度を導出する。第１処理部１０８ａ－１は、抽出部１０６ａから取得した波形情報と複数の波形情報との類似度の導出結果に基づいて、類似度が高い波形情報に関連付けられている音情報を、抽出部１０６ａから取得した波形情報の音情報とする。
【0056】
具体的には、第１処理部１０８ａ－１は、抽出部１０６ａから取得した波形情報に含まれる指紋区間の周波数情報、音データの吹鳴区間情報及び吹鳴回数情報と、第１学習ＤＢ１０９ａ－１に含まれる複数の波形情報の各々についての指紋区間の周波数情報、音データの吹鳴区間情報及び吹鳴回数情報との間で違い（誤差）を判別することによって類似度を導出する。ここで、指紋区間の周波数情報、音データの吹鳴区間情報及び吹鳴回数情報の各々に重みづけし、重みづけに基づいて類似度が導出されてもよい。例えば、重みづけは、パーセントで表されてもよい。
【0057】
第２処理部１０８ａ－２は、抽出部１０６ａから指紋区間を取得する。第２処理部１０８ａ－２は、取得した指紋区間に基づいて、音を判定する。具体的には第２処理部１０８ａ－２は、指紋区間を指紋画像に変換する。
第２処理部１０８ａ－２は、第２学習済モデル１０９ａ－２を備えている。第２学習済モデル１０９ａ－２は、指紋区間を変換した指紋画像の次元を圧縮したものを説明変数（特徴量）、音データによって示される音情報を目的変数として、指紋区間を変換した指紋画像の次元を圧縮したものと音データによって示される音情報との関係を機械学習したものである。第２学習済モデル１０９ａ－２は、オートエンコーダを用いて作成されたものであってもよい。オートエンコーダは、機械学習において、ニューラルネットワークを使用した次元圧縮のためのアルゴリズムである。
第２処理部１０８ａ－２は、指紋区間を変換することによって取得した指紋画像の次元を圧縮し、指紋画像の次元を圧縮した結果(情報)を、第２学習済モデル１０９ａ－２に入力し、入力した指紋画像の次元を圧縮した結果に対して、第２学習済モデル１０９ａ－２が出力した音情報と、指紋画像と指紋画像の特徴量との一致度とを取得する。
第２処理部１０８ａ－２は、第２学習済モデル１０９ａ－２を備えている。第２学習済モデル１０９ａ－２は、指紋区間を変換した指紋画像の次元を圧縮したものを説明変数（特徴量）、音データによって示される音情報を目的変数として、指紋区間を変換した指紋画像の次元を圧縮したものと音データによって示される音情報との関係を機械学習したものである。第２学習済モデル１０９ａ－２は、オートエンコーダを用いて作成されたものであってもよい。オートエンコーダは、機械学習において、ニューラルネットワークを使用した次元圧縮のためのアルゴリズムである。
第２処理部１０８ａ－２は、指紋区間を変換することによって取得した指紋画像の次元を圧縮し、指紋画像の次元を圧縮した結果(情報)を、第２学習済モデル１０９ａ－２に入力し、入力した指紋画像の次元を圧縮した結果に対して、第２学習済モデル１０９ａ－２が出力した音情報と、指紋画像と指紋画像の特徴量との一致度とを取得する。
【0058】
判定部１１０ａは、第１処理部１０８ａ－１から波形情報に基づく音情報の判定結果と、波形情報の類似度とを取得し、第２処理部１０８ａ－２から指紋画像に基づく音情報の判定結果と、指紋画像と指紋画像の特徴量とを取得する。判定部１１０ａは、取得した波形情報に基づく音情報と、波形情報の類似度及び指紋画像に基づく音情報と、指紋画像と指紋画像の特徴量との一致度とに基づいて受付部１０４が受け付けた音データに含まれる音の音情報を判定する。
判定部１１０ａは、波形情報に基づく音情報と指紋画像に基づく音情報とが一致している場合には、その音情報を、受付部１０４が受け付けた音データに含まれる音の音情報とする。判定部１１０ａは、波形情報に基づく音情報と指紋画像に基づく音情報とが一致していない場合には、波形情報の類似度及び指紋画像と指紋画像の特徴量との一致度とに基づいて、受付部１０４が受け付けた音データに含まれる音の音情報を判定する。また、判定部１１０ａは、音画像に基づく音情報の判定結果を、指紋画像に基づく音情報の判定結果よりも優先してもよい。
判定部１１０ａは、波形情報に基づく音情報と指紋画像に基づく音情報とが一致している場合には、その音情報を、受付部１０４が受け付けた音データに含まれる音の音情報とする。判定部１１０ａは、波形情報に基づく音情報と指紋画像に基づく音情報とが一致していない場合には、波形情報の類似度及び指紋画像と指紋画像の特徴量との一致度とに基づいて、受付部１０４が受け付けた音データに含まれる音の音情報を判定する。また、判定部１１０ａは、音画像に基づく音情報の判定結果を、指紋画像に基づく音情報の判定結果よりも優先してもよい。
【0059】
抽出部１０６ａ、第１処理部１０８ａ－１、第２処理部１０８ａ－２および判定部１１０ａの全部または一部は、例えば、ＣＰＵなどのプロセッサが記憶部１１４に格納されたプログラムを実行することにより実現される機能部（以下、ソフトウェア機能部と称する）である。なお、抽出部１０６ａ、第１処理部１０８ａ－１、第２処理部１０８ａ－２および判定部１１０ａの全部または一部は、ＬＳＩ、ＡＳＩＣ、またはＦＰＧＡなどのハードウェアにより実現されてもよく、ソフトウェア機能部とハードウェアとの組み合わせによって実現されてもよい。
【0060】
次に、第１学習ＤＢ作成システム４００の一例について説明する。
（第１学習ＤＢ作成システム４００）
図１０は、実施形態の変形例１に係る第１学習ＤＢ作成システム４００の一例を示す図である。
第１学習ＤＢ作成システム４００は、第１学習ＤＢ１０９ａ－１を作成する。第１学習ＤＢ作成システム４００は、学習用データセットを受け付ける。学習用データセットには、音データの波形情報と音データによって示される音情報とが含まれる。
第１学習モデル作成システム２００は、受け付けた学習用データセットに基づいて、音データの波形情報と音データによって示される音情報とを関連付けて学習ＤＢ４３２を作成する。
（第１学習ＤＢ作成システム４００）
図１０は、実施形態の変形例１に係る第１学習ＤＢ作成システム４００の一例を示す図である。
第１学習ＤＢ作成システム４００は、第１学習ＤＢ１０９ａ－１を作成する。第１学習ＤＢ作成システム４００は、学習用データセットを受け付ける。学習用データセットには、音データの波形情報と音データによって示される音情報とが含まれる。
第１学習モデル作成システム２００は、受け付けた学習用データセットに基づいて、音データの波形情報と音データによって示される音情報とを関連付けて学習ＤＢ４３２を作成する。
【0061】
第１学習ＤＢ作成システム４００は、スマートフォン、携帯端末、又はパーソナルコンピュータ、タブレット端末装置、あるいはその他の情報処理機器として実現される。第１学習ＤＢ作成システム４００は、例えば、入力部４１０と、受付部４２０と、処理部４３０と、出力部４４０と、記憶部４５０とを備える。
入力部４１０は、入力デバイスを備える。入力部４１０には、学習用データセットが入力される。入力部４１０は、入力された学習用データセットを取得する。
記憶部４５０は、ＨＤＤやフラッシュメモリ、ＲＡＭ、ＲＯＭなどにより実現される。記憶部４５０には、プログラムが記憶される。
入力部４１０は、入力デバイスを備える。入力部４１０には、学習用データセットが入力される。入力部４１０は、入力された学習用データセットを取得する。
記憶部４５０は、ＨＤＤやフラッシュメモリ、ＲＡＭ、ＲＯＭなどにより実現される。記憶部４５０には、プログラムが記憶される。
【0062】
受付部４２０は、入力部４１０に入力された学習用データセットを取得し、取得した学習用データセットを受け付ける。
処理部４３０は、受付部４２０が受け付けた学習用データセットを取得する。処理部４３０は、取得した学習用データセットに基づいて、学習用データセットに含まれる音データの波形情報と、音データによって示される音情報とを関連付けて記憶することによって学習ＤＢ４３２を作成する。
処理部４３０は、受付部４２０が受け付けた学習用データセットを取得する。処理部４３０は、取得した学習用データセットに基づいて、学習用データセットに含まれる音データの波形情報と、音データによって示される音情報とを関連付けて記憶することによって学習ＤＢ４３２を作成する。
【0063】
出力部４４０は、処理部４３０が作成した学習ＤＢ４３２を取得する。出力部４４０は、取得した学習ＤＢ４３２を出力する。出力部４４０は、学習ＤＢ４３２を、ネットワーク（図示なし）を介して、音判定システム１００ａへ送信してもよい。
この場合、音判定システム１００ａは、第１学習ＤＢ作成システム４００が送信した学習ＤＢ４３２を受信し、受信した学習ＤＢ４３２を、第１学習ＤＢ１０９ａ－１として使用してもよい。
この場合、音判定システム１００ａは、第１学習ＤＢ作成システム４００が送信した学習ＤＢ４３２を受信し、受信した学習ＤＢ４３２を、第１学習ＤＢ１０９ａ－１として使用してもよい。
【0064】
入力部４１０と、受付部４２０と、処理部４３０と、出力部４４０との全部または一部は、例えば、ＣＰＵなどのプロセッサが記憶部４５０に格納されたプログラムを実行することにより実現される機能部（以下、ソフトウェア機能部と称する）である。なお、入力部４１０と、受付部４２０と、処理部４３０と、出力部４４０との全部または一部は、ＬＳＩ、ＡＳＩＣ、またはＦＰＧＡなどのハードウェアにより実現されてもよく、ソフトウェア機能部とハードウェアとの組み合わせによって実現されてもよい。
【0065】
次に、第２学習モデル作成システム３００ａの一例について説明する。
（第２学習モデル作成システム３００ａ）
図１１は、実施形態の変形例１に係る第２学習モデル作成システム３００ａの一例を示す図である。
第２学習モデル作成システム３００ａは、第２学習済モデル１０９ａ－２を作成する。第２学習モデル作成システム３００ａは、学習用データセットを受け付ける。学習用データセットには、音データから抽出した指紋区間を変換した指紋画像が学習データとして含まれ且つ音データによって示される音情報が教師データとして含まれる。
第２学習モデル作成システム３００ａは、受け付けた学習用データセットに基づいて、指紋区間を変換した指紋画像と音データによって示される音情報との関係を機械学習することによって学習済モデルを作成する。
（第２学習モデル作成システム３００ａ）
図１１は、実施形態の変形例１に係る第２学習モデル作成システム３００ａの一例を示す図である。
第２学習モデル作成システム３００ａは、第２学習済モデル１０９ａ－２を作成する。第２学習モデル作成システム３００ａは、学習用データセットを受け付ける。学習用データセットには、音データから抽出した指紋区間を変換した指紋画像が学習データとして含まれ且つ音データによって示される音情報が教師データとして含まれる。
第２学習モデル作成システム３００ａは、受け付けた学習用データセットに基づいて、指紋区間を変換した指紋画像と音データによって示される音情報との関係を機械学習することによって学習済モデルを作成する。
【0066】
第２学習モデル作成システム３００ａは、スマートフォン、携帯端末、又はパーソナルコンピュータ、タブレット端末装置、あるいはその他の情報処理機器として実現される。第２学習モデル作成システム３００ａは、例えば、入力部３１０と、受付部３２０と、処理部３３０ａと、出力部３４０と、記憶部３５０とを備える。
処理部３３０ａは、受付部３２０が受け付けた学習用データセットを取得する。処理部３３０ａは、取得した学習用データセットに基づいて、指紋区間を変換した指紋画像の次元を圧縮したものを説明変数、音声データによって示される音情報を目的変数として、指紋区間を変換した指紋画像の次元を圧縮したものと音声データによって示される音情報との関係を機械学習することによって学習モデル３３２ａを作成する。
処理部３３０ａは、受付部３２０が受け付けた学習用データセットを取得する。処理部３３０ａは、取得した学習用データセットに基づいて、指紋区間を変換した指紋画像の次元を圧縮したものを説明変数、音声データによって示される音情報を目的変数として、指紋区間を変換した指紋画像の次元を圧縮したものと音声データによって示される音情報との関係を機械学習することによって学習モデル３３２ａを作成する。
【0067】
例えば、処理部３３０ａは、指紋区間を変換した指紋画像の次元を圧縮したものを入力データ、音声データによって示される音情報を教師データとして使用して機械学習する。本実施形態では、学習モデル３３２ａの一例としてオートエンコーダを用いた場合について説明を続ける。この場合、処理部３３０ａは、指紋区間を変換した指紋画像の次元を圧縮し、指紋画像の次元を圧縮した結果（情報）を入力データ、指紋区間によって示される音情報を教師データとして使用して機械学習する。
【0068】
処理部３３０ａの全部または一部は、例えば、ＣＰＵなどのプロセッサが記憶部３５０に格納されたプログラムを実行することにより実現される機能部（以下、ソフトウェア機能部と称する）である。なお、処理部３３０ａの全部または一部は、ＬＳＩ、ＡＳＩＣ、またはＦＰＧＡなどのハードウェアにより実現されてもよく、ソフトウェア機能部とハードウェアとの組み合わせによって実現されてもよい。
【0069】
（音判定システムの動作）
図１２は、実施形態の変形例１にかかる音判定システム１００ａの動作の一例を示す図である。図１２を参照して、音判定システム１００ａが、入力された音ファイルから得られる音データよって示される音情報を判定する処理について説明する。ここでは、音判定システム１００ａにおいて、第１処理部１０８ａ－１には第１学習ＤＢ１０９ａ－１が記憶され、第２処理部１０８ａ－２には第２学習済モデル１０９ａ－２が記憶されている場合について説明する。
（ステップＳ１－４）
入力部１０２に、音ファイルが入力される。
（ステップＳ２－４）
解析部１０３は、入力部１０２から音ファイルを取得する。解析部１０３は、取得した音ファイルから音の波形を取得し、取得した音の波形を解析する。
（ステップＳ３－４）
受付部１０４は、解析部１０３から音データを取得する。受付部１０４は、取得した音データを受け付ける。
図１２は、実施形態の変形例１にかかる音判定システム１００ａの動作の一例を示す図である。図１２を参照して、音判定システム１００ａが、入力された音ファイルから得られる音データよって示される音情報を判定する処理について説明する。ここでは、音判定システム１００ａにおいて、第１処理部１０８ａ－１には第１学習ＤＢ１０９ａ－１が記憶され、第２処理部１０８ａ－２には第２学習済モデル１０９ａ－２が記憶されている場合について説明する。
（ステップＳ１－４）
入力部１０２に、音ファイルが入力される。
（ステップＳ２－４）
解析部１０３は、入力部１０２から音ファイルを取得する。解析部１０３は、取得した音ファイルから音の波形を取得し、取得した音の波形を解析する。
（ステップＳ３－４）
受付部１０４は、解析部１０３から音データを取得する。受付部１０４は、取得した音データを受け付ける。
【0070】
（ステップＳ４－４）
抽出部１０６ａは、受付部１０４から音データを取得し、取得した音データから、指紋区間を抽出する。
（ステップＳ５－４）
抽出部１０６ａは、指紋区間の周波数情報、音データの吹鳴区間情報及び吹鳴回数情報などの波形情報を取得し、取得した指紋区間の周波数情報、音データの吹鳴区間情報及び吹鳴回数情報などの波形情報を、記憶部１１４の波形情報１１４ａに記憶させる。
（ステップＳ６－４）
第１処理部１０８ａ－１は、抽出部１０６ａから波形情報を取得する。第１処理部１０８－１は、取得した波形情報と第１学習ＤＢ１０９ａ－１に含まれる複数の波形情報の各々と比較し、抽出部１０６ａから取得した波形情報と複数の波形情報の各々との類似度を導出する。第１処理部１０８ａ－１は、抽出部１０６ａから取得した波形情報と複数の波形情報との類似度の導出結果に基づいて、類似度が高い波形情報に関連付けられている音情報を、抽出部１０６ａから取得した波形情報の音情報とする。
抽出部１０６ａは、受付部１０４から音データを取得し、取得した音データから、指紋区間を抽出する。
（ステップＳ５－４）
抽出部１０６ａは、指紋区間の周波数情報、音データの吹鳴区間情報及び吹鳴回数情報などの波形情報を取得し、取得した指紋区間の周波数情報、音データの吹鳴区間情報及び吹鳴回数情報などの波形情報を、記憶部１１４の波形情報１１４ａに記憶させる。
（ステップＳ６－４）
第１処理部１０８ａ－１は、抽出部１０６ａから波形情報を取得する。第１処理部１０８－１は、取得した波形情報と第１学習ＤＢ１０９ａ－１に含まれる複数の波形情報の各々と比較し、抽出部１０６ａから取得した波形情報と複数の波形情報の各々との類似度を導出する。第１処理部１０８ａ－１は、抽出部１０６ａから取得した波形情報と複数の波形情報との類似度の導出結果に基づいて、類似度が高い波形情報に関連付けられている音情報を、抽出部１０６ａから取得した波形情報の音情報とする。
【0071】
（ステップＳ７－４）
第２処理部１０８ａ－２は、抽出部１０６ａから指紋区間を取得する。第２処理部１０８ａ－２は、取得した指紋区間を指紋画像に変換する。第２処理部１０８ａ－２は、指紋区間を変換することによって取得した指紋画像の次元を圧縮し、指紋画像の次元を圧縮したものを、第２学習済モデル１０９ａ－２に入力し、入力した指紋画像の次元を圧縮したものに対して、第２学習済モデル１０９ａ－２が出力した音情報と、指紋画像の次元を圧縮したものと指紋画像の次元を圧縮したものの特徴量との一致度とを取得する。
（ステップＳ８－４）
判定部１１０ａは、第１処理部１０８ａ－１から波形情報に基づいて取得した音情報と類似度とを取得し、第２処理部１０８ａ－２から指紋画像を入力することによって取得した音情報と、指紋画像の次元を圧縮したものと指紋画像の次元を圧縮したものの特徴量との一致度とを取得する。判定部１１０ａは、波形情報に基づいて取得した音情報と類似度及び指紋画像を入力することによって取得した音情報と、指紋画像の次元を圧縮したものと指紋画像の次元を圧縮したものの特徴量との一致度とに基づいて受付部１０４が受け付けた音データに含まれる音の音情報を判定する。
（ステップＳ９－４）
出力部１１２は、判定部１１０ａから受付部１０４が受け付けた音データに含まれる音の音情報の判定結果を取得する。出力部１１２は、取得した音の判定結果を出力する。
第２処理部１０８ａ－２は、抽出部１０６ａから指紋区間を取得する。第２処理部１０８ａ－２は、取得した指紋区間を指紋画像に変換する。第２処理部１０８ａ－２は、指紋区間を変換することによって取得した指紋画像の次元を圧縮し、指紋画像の次元を圧縮したものを、第２学習済モデル１０９ａ－２に入力し、入力した指紋画像の次元を圧縮したものに対して、第２学習済モデル１０９ａ－２が出力した音情報と、指紋画像の次元を圧縮したものと指紋画像の次元を圧縮したものの特徴量との一致度とを取得する。
（ステップＳ８－４）
判定部１１０ａは、第１処理部１０８ａ－１から波形情報に基づいて取得した音情報と類似度とを取得し、第２処理部１０８ａ－２から指紋画像を入力することによって取得した音情報と、指紋画像の次元を圧縮したものと指紋画像の次元を圧縮したものの特徴量との一致度とを取得する。判定部１１０ａは、波形情報に基づいて取得した音情報と類似度及び指紋画像を入力することによって取得した音情報と、指紋画像の次元を圧縮したものと指紋画像の次元を圧縮したものの特徴量との一致度とに基づいて受付部１０４が受け付けた音データに含まれる音の音情報を判定する。
（ステップＳ９－４）
出力部１１２は、判定部１１０ａから受付部１０４が受け付けた音データに含まれる音の音情報の判定結果を取得する。出力部１１２は、取得した音の判定結果を出力する。
【0072】
（第１学習ＤＢ作成システム４００の動作）
図１３は、実施形態の変形例１に係る第１学習ＤＢ作成システム４００の動作の一例を示すフロー図である。図１３を参照して、第１学習ＤＢ作成システム４００が、入力された学習用データセットから得られる音データの波形情報及び音データによって示される音情報に基づいて、第１学習ＤＢ１９０ａ－１を作成する処理について説明する。ここでは、複数の学習用データセットが用意されている場合について説明する。
（ステップＳ１－５）
入力部４１０に、学習用データセットが入力される。入力部４１０は、入力された学習用データセットを取得する。
（ステップＳ２－５）
受付部４２０は、入力部４１０に入力された学習用データセットを取得し、取得した学習用データセットを受け付ける。
（ステップＳ３－５）
処理部４３０は、受付部４２０が受け付けた学習用データセットを取得する。処理部４３０は、取得した学習用データセットに基づいて、音データの波形情報と音データによって示される音情報とを関連付けて記憶することによって学習ＤＢ４３２を作成する。
図１３は、実施形態の変形例１に係る第１学習ＤＢ作成システム４００の動作の一例を示すフロー図である。図１３を参照して、第１学習ＤＢ作成システム４００が、入力された学習用データセットから得られる音データの波形情報及び音データによって示される音情報に基づいて、第１学習ＤＢ１９０ａ－１を作成する処理について説明する。ここでは、複数の学習用データセットが用意されている場合について説明する。
（ステップＳ１－５）
入力部４１０に、学習用データセットが入力される。入力部４１０は、入力された学習用データセットを取得する。
（ステップＳ２－５）
受付部４２０は、入力部４１０に入力された学習用データセットを取得し、取得した学習用データセットを受け付ける。
（ステップＳ３－５）
処理部４３０は、受付部４２０が受け付けた学習用データセットを取得する。処理部４３０は、取得した学習用データセットに基づいて、音データの波形情報と音データによって示される音情報とを関連付けて記憶することによって学習ＤＢ４３２を作成する。
【0073】
（ステップＳ４－５）
処理部４３０は、記憶を終了するか否かを決定する。具体的には、処理部４３０は、記憶していない学習用データセットがある場合には記憶を継続すると決定し、記憶していない学習用データセットがない場合には記憶を終了すると決定する。記憶すると決定した場合にはステップＳ１－５へ移行する。
（ステップＳ５－５）
記憶を終了すると決定した場合に、出力部４４０は、処理部４３０が作成した学習ＤＢ４３２を取得する。出力部４４０は、取得した学習ＤＢ４３２を出力する。出力部４４０は、学習ＤＢ４３２を、ネットワーク（図示なし）を介して、音判定システム１００ａへ送信してもよい。
音判定システム１００ａは、第１学習ＤＢ作成システム４００が送信した学習ＤＢ４３２を受信し、受信した学習ＤＢ４３２を、第１学習ＤＢ１０９ａ－１として使用してもよい。
処理部４３０は、記憶を終了するか否かを決定する。具体的には、処理部４３０は、記憶していない学習用データセットがある場合には記憶を継続すると決定し、記憶していない学習用データセットがない場合には記憶を終了すると決定する。記憶すると決定した場合にはステップＳ１－５へ移行する。
（ステップＳ５－５）
記憶を終了すると決定した場合に、出力部４４０は、処理部４３０が作成した学習ＤＢ４３２を取得する。出力部４４０は、取得した学習ＤＢ４３２を出力する。出力部４４０は、学習ＤＢ４３２を、ネットワーク（図示なし）を介して、音判定システム１００ａへ送信してもよい。
音判定システム１００ａは、第１学習ＤＢ作成システム４００が送信した学習ＤＢ４３２を受信し、受信した学習ＤＢ４３２を、第１学習ＤＢ１０９ａ－１として使用してもよい。
【0074】
（第２学習モデル作成システム３００ａの動作）
図１４は、実施形態の変形例１に係る第２学習モデル作成システム３００ａの動作の一例を示すフロー図である。図１４を参照して、第２学習モデル作成システム３００ａが、入力された学習用データセットから得られる指紋区間を変換した指紋画像及び音データによって示される音情報に基づいて、第２学習済モデル１９０ａ－２を作成する処理について説明する。ここでは、複数の学習用データセットが用意されている場合について説明する。
（ステップＳ１－６）
入力部３１０に、学習用データセットが入力される。入力部３１０は、入力された学習用データセットを取得する。
（ステップＳ２－６）
受付部３２０は、入力部３１０に入力された学習用データセットを取得し、取得した学習用データセットを受け付ける。
（ステップＳ３－６）
処理部３３０ａは、受付部３２０が受け付けた学習用データセットを取得する。処理部３３０ａは、取得した学習用データセットに基づいて、指紋区間を変換した指紋画像の次元を圧縮し、指紋画像の次元を圧縮した結果（情報）を説明変数、音声データによって示される音情報を目的変数として、指紋区間を変換した指紋画像の次元を圧縮した結果（情報）と音声データによって示される音情報との関係を機械学習することによって学習モデル３３２ａを作成する。
図１４は、実施形態の変形例１に係る第２学習モデル作成システム３００ａの動作の一例を示すフロー図である。図１４を参照して、第２学習モデル作成システム３００ａが、入力された学習用データセットから得られる指紋区間を変換した指紋画像及び音データによって示される音情報に基づいて、第２学習済モデル１９０ａ－２を作成する処理について説明する。ここでは、複数の学習用データセットが用意されている場合について説明する。
（ステップＳ１－６）
入力部３１０に、学習用データセットが入力される。入力部３１０は、入力された学習用データセットを取得する。
（ステップＳ２－６）
受付部３２０は、入力部３１０に入力された学習用データセットを取得し、取得した学習用データセットを受け付ける。
（ステップＳ３－６）
処理部３３０ａは、受付部３２０が受け付けた学習用データセットを取得する。処理部３３０ａは、取得した学習用データセットに基づいて、指紋区間を変換した指紋画像の次元を圧縮し、指紋画像の次元を圧縮した結果（情報）を説明変数、音声データによって示される音情報を目的変数として、指紋区間を変換した指紋画像の次元を圧縮した結果（情報）と音声データによって示される音情報との関係を機械学習することによって学習モデル３３２ａを作成する。
【0075】
（ステップＳ４－６）
処理部３３０ａは、機械学習を終了するか否かを決定する。具体的には、処理部３３０ａは、機械学習を行っていない学習用データセットがある場合には機械学習を継続すると決定し、機械学習を行っていない学習用データセットがない場合には機械学習を終了すると決定する。機械学習を継続すると決定した場合にはステップＳ１－６へ移行する。
（ステップＳ５－６）
処理部３３０ａが機械学習を終了すると決定した場合に、出力部３４０は、処理部３３０ａが作成した学習モデル３３２ａを取得する。出力部３４０は、取得した学習モデル３３２ａを出力する。出力部３４０は、学習モデル３３２ａを、ネットワーク（図示なし）を介して、音判定システム１００ａへ送信してもよい。
音判定システム１００ａは、第２学習モデル作成システム３００ａが送信した学習モデル３３２ａを受信し、受信した学習モデル３３２ａを、第２学習済モデル１０９ａ－２として使用してもよい。
処理部３３０ａは、機械学習を終了するか否かを決定する。具体的には、処理部３３０ａは、機械学習を行っていない学習用データセットがある場合には機械学習を継続すると決定し、機械学習を行っていない学習用データセットがない場合には機械学習を終了すると決定する。機械学習を継続すると決定した場合にはステップＳ１－６へ移行する。
（ステップＳ５－６）
処理部３３０ａが機械学習を終了すると決定した場合に、出力部３４０は、処理部３３０ａが作成した学習モデル３３２ａを取得する。出力部３４０は、取得した学習モデル３３２ａを出力する。出力部３４０は、学習モデル３３２ａを、ネットワーク（図示なし）を介して、音判定システム１００ａへ送信してもよい。
音判定システム１００ａは、第２学習モデル作成システム３００ａが送信した学習モデル３３２ａを受信し、受信した学習モデル３３２ａを、第２学習済モデル１０９ａ－２として使用してもよい。
【0076】
実施形態の変形例１に係る音判定システム１００ａにおいて、音判定システム１００ａは、第１処理部１０８ａ－１の代わりに、第１処理部１０８－１を備えるようにしてもよい。また、音判定システム１００ａは、第２処理部１０８ａ－２の代わりに、第２処理部１０８－２を備えるようにしてもよい。
実施形態の変形例１に係る音判定システム１００ａによれば、音判定システム１００において、抽出部１０６ａは、音データに基づいて波形情報を取得し、第１処理部１０８ａ－１は、複数の音データの各々について波形情報と音データの音を識別する情報とを関連付けた情報を記憶しており、当該情報を使用して、抽出部１０６ａが取得した波形情報に基づいて音を判定する。
このように構成することによって、音判定システム１００ａは、複数の音データの各々について波形情報と音データの音を識別する情報とを関連付けた情報を使用して、抽出部１０６ａが取得した波形情報に基づいて音を判定することができるため、音判定システム１００ａは、複数の音データの各々について波形情報と音データの音を識別する情報とを関連付けた情報を使用しないで抽出部１０６ａが取得した波形情報に基づいて音を判定する場合と比較して、音の判定精度を向上できる。
実施形態の変形例１に係る音判定システム１００ａによれば、音判定システム１００において、抽出部１０６ａは、音データに基づいて波形情報を取得し、第１処理部１０８ａ－１は、複数の音データの各々について波形情報と音データの音を識別する情報とを関連付けた情報を記憶しており、当該情報を使用して、抽出部１０６ａが取得した波形情報に基づいて音を判定する。
このように構成することによって、音判定システム１００ａは、複数の音データの各々について波形情報と音データの音を識別する情報とを関連付けた情報を使用して、抽出部１０６ａが取得した波形情報に基づいて音を判定することができるため、音判定システム１００ａは、複数の音データの各々について波形情報と音データの音を識別する情報とを関連付けた情報を使用しないで抽出部１０６ａが取得した波形情報に基づいて音を判定する場合と比較して、音の判定精度を向上できる。
【0077】
音判定システム１００ａにおいて、波形情報は、周波数、吹鳴周期、吹鳴回数の少なくとも一つである。
このように構成することによって、音判定システム１００ａは、複数の音データの各々について波形情報として周波数、吹鳴周期、吹鳴回数の少なくとも一つと音データの音を識別する情報とを関連付けた情報を使用して、抽出部１０６ａが取得した波形情報に基づいて音を判定することができる。このため、音判定システム１００ａは、複数の音データの各々について波形情報と音データの音を識別する情報とを関連付けた情報を使用しないで抽出部１０６ａが取得した波形情報に基づいて音を判定する場合と比較して、音の判定精度を向上できる。
このように構成することによって、音判定システム１００ａは、複数の音データの各々について波形情報として周波数、吹鳴周期、吹鳴回数の少なくとも一つと音データの音を識別する情報とを関連付けた情報を使用して、抽出部１０６ａが取得した波形情報に基づいて音を判定することができる。このため、音判定システム１００ａは、複数の音データの各々について波形情報と音データの音を識別する情報とを関連付けた情報を使用しないで抽出部１０６ａが取得した波形情報に基づいて音を判定する場合と比較して、音の判定精度を向上できる。
【0078】
音判定システム１００ａにおいて、抽出部１０６ａは、音データから、音の特徴が表されている部分を抽出し、第２処理部１０８ａ－２は、複数の音声データの各々について音の特徴が表されている部分の音画像の次元を圧縮した結果と音データの音を識別する情報との関係を機械学習しており、抽出部１０６ａが抽出した音の特徴が表されている部分を音画像に変換し、音画像の次元を圧縮し、当該機械学習の結果を使用して、音の特徴が表されている部分の音画像の次元を圧縮した結果に基づいて音を判定する。
このように構成することによって、音判定システム１００ａは、複数の音声データの各々について音の特徴が表されている部分の音画像の次元を圧縮した結果と音データの音を識別する情報との関係を機械学習した結果を使用して、音の特徴が表されている部分の音画像の次元を圧縮した結果に基づいて音を判定することができるため、機械学習した結果を使用しないで音を判定する場合と比較して、音の判定精度を向上できる。
このように構成することによって、音判定システム１００ａは、複数の音声データの各々について音の特徴が表されている部分の音画像の次元を圧縮した結果と音データの音を識別する情報との関係を機械学習した結果を使用して、音の特徴が表されている部分の音画像の次元を圧縮した結果に基づいて音を判定することができるため、機械学習した結果を使用しないで音を判定する場合と比較して、音の判定精度を向上できる。
【0079】
（実施形態の変形例２）
（音判定システム）
図１５は、実施形態の変形例２の音判定システム１００ｂの一例を示す図である。音判定システム１００ｂには、音ファイルが入力される。音判定システム１００ｂは、入力された音ファイルから音の波形を取得する。音判定システム１００ｂは、取得した音の波形を解析することによって音データを取得する。
音判定システム１００ｂは、取得した音データを受け付ける。音判定システム１００ｂは、受け付けた音データから、指紋区間を抽出する。音判定システム１００ｂは、音データに基づいて波形情報を取得する。
音判定システム１００ｂは、音データ及び波形情報に基づいて音を判定するとともに、指紋区間に基づいて複数の方法で音を判定する。実施形態の変形例では、一例として、指紋区間に基づいて２種類の方法で音を判定する場合について説明を続ける。３種類以上の方法で音を判定するように構成してもよい。音判定システム１００ｂは、音データ及び波形情報に基づいて音を判定した結果と、指紋区間に基づいて2種類の方法で音を判定した結果とに基づいて、音を判定する。音判定システム１００ｂは、音の判定結果を出力する。
（音判定システム）
図１５は、実施形態の変形例２の音判定システム１００ｂの一例を示す図である。音判定システム１００ｂには、音ファイルが入力される。音判定システム１００ｂは、入力された音ファイルから音の波形を取得する。音判定システム１００ｂは、取得した音の波形を解析することによって音データを取得する。
音判定システム１００ｂは、取得した音データを受け付ける。音判定システム１００ｂは、受け付けた音データから、指紋区間を抽出する。音判定システム１００ｂは、音データに基づいて波形情報を取得する。
音判定システム１００ｂは、音データ及び波形情報に基づいて音を判定するとともに、指紋区間に基づいて複数の方法で音を判定する。実施形態の変形例では、一例として、指紋区間に基づいて２種類の方法で音を判定する場合について説明を続ける。３種類以上の方法で音を判定するように構成してもよい。音判定システム１００ｂは、音データ及び波形情報に基づいて音を判定した結果と、指紋区間に基づいて2種類の方法で音を判定した結果とに基づいて、音を判定する。音判定システム１００ｂは、音の判定結果を出力する。
【0080】
音判定システム１００ｂは、パーソナルコンピュータ、サーバ、スマートフォン、タブレットコンピュータ又は産業用コンピュータ等の装置によって実現される。音判定システム１００ｂは、入力部１０２と、解析部１０３と、受付部１０４と、抽出部１０６ｂと、第１処理部１０８ｂ－１と、第２処理部１０８ｂ－２と、判定部１１０ｂと、出力部１１２と、記憶部１１４とを備える。
抽出部１０６ｂは、抽出部１０６ａを適用できる。
第１処理部１０８ｂ－１は、抽出部１０６ｂから音データを取得する。第１処理部１０８ｂ－１は、取得した音データに基づいて、音を判定する。具体的には第１処理部１０８ｂ－１は、音データを音画像に変換する。
抽出部１０６ｂは、抽出部１０６ａを適用できる。
第１処理部１０８ｂ－１は、抽出部１０６ｂから音データを取得する。第１処理部１０８ｂ－１は、取得した音データに基づいて、音を判定する。具体的には第１処理部１０８ｂ－１は、音データを音画像に変換する。
【0081】
第１処理部１０８ｂ－１は、第１学習済モデル１０９－１を備えている。第１学習済モデル１０９－１は、音データを変換した音画像を説明変数（特徴量）、音データによって示される音情報を目的変数として、音データを変換した音画像と音データによって示される音情報との関係を機械学習したものである。第１学習済モデル１０９－１の一例は、畳み込みニューラルネットワークを用いて作成されたものである。
第１処理部１０８ｂ－１は、音データを変換することによって取得した音画像を、第１学習済モデル１０９－１に入力し、入力した音画像に対して、第１学習済モデル１０９－１が出力した音情報と、音画像と音画像の特徴量との一致度とを取得する。
第１処理部１０８ｂ－１は、音データを変換することによって取得した音画像を、第１学習済モデル１０９－１に入力し、入力した音画像に対して、第１学習済モデル１０９－１が出力した音情報と、音画像と音画像の特徴量との一致度とを取得する。
【0082】
第１処理部１０８ｂ－１は、抽出部１０６ｂから波形情報を取得する。第１処理部１０８ｂ－１は、取得した波形情報に基づいて、音を判定する。具体的には、第１処理部１０８ｂ－１は、第１学習ＤＢ１０９ａ－１を備えている。第１学習ＤＢ１０９ａ－１は、複数の波形情報と、複数の波形情報の各々について波形情報によって示される音情報とを関連付けたものである。
第１処理部１０８ｂ－１は、抽出部１０６ｂから取得した波形情報と、第１学習ＤＢ１０９ａ－１に含まれる複数の波形情報とを比較し、抽出部１０６ｂから取得した波形情報と複数の波形情報の各々との類似度を導出する。第１処理部１０８ｂ－１は、抽出部１０６ｂから取得した波形情報と複数の波形情報との類似度の導出結果に基づいて、類似度が高い波形情報に関連付けられている音情報を、抽出部１０６ｂから取得した波形情報の音情報とする。
第１処理部１０８ｂ－１は、抽出部１０６ｂから取得した波形情報と、第１学習ＤＢ１０９ａ－１に含まれる複数の波形情報とを比較し、抽出部１０６ｂから取得した波形情報と複数の波形情報の各々との類似度を導出する。第１処理部１０８ｂ－１は、抽出部１０６ｂから取得した波形情報と複数の波形情報との類似度の導出結果に基づいて、類似度が高い波形情報に関連付けられている音情報を、抽出部１０６ｂから取得した波形情報の音情報とする。
【0083】
具体的には、第１処理部１０８ｂ－１は、抽出部１０６ｂから取得した波形情報に含まれる指紋区間の周波数情報、音データの吹鳴区間情報及び吹鳴回数情報と、第１学習ＤＢ１０９ａ－１に含まれる複数の波形情報の各々についての指紋区間の周波数情報、音データの吹鳴区間情報及び吹鳴回数情報との間で違い（誤差）を判別することによって類似度を導出する。ここで、指紋区間の周波数情報、音データの吹鳴区間情報及び吹鳴回数情報の各々に重みづけし、重みづけに基づいて類似度が導出されてもよい。例えば、重みづけは、パーセントで表されてもよい。
【0084】
第２処理部１０８ｂ－２は、抽出部１０６ｂから一又は複数の指紋区間を取得する。第２処理部１０８ｂ－２は、取得した一又は複数の指紋区間に基づいて、音を判定する。具体的には第２処理部１０８ｂ－２は、一又は複数の指紋区間各々を音画像に変換する。
第２処理部１０８ｂ－２は、第２学習済モデル１０９－２を備えている。第２学習済モデル１０９－２は、指紋区間を変換した指紋画像を説明変数（特徴量）、音データによって示される音情報を目的変数として、指紋区間を変換した指紋画像と音データによって示される音情報との関係を機械学習したものである。第２学習済モデル１０９－２は、オープンシーヴィ（ＯｐｅｎＣＶ： Ｏｐｅｎ Ｓｏｕｒｃｅ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ Ｌｉｂｒａｒｙ）を用いて作成されたものであってもよい。
第２処理部１０８ｂ－２は、一又は複数の指紋区間の各々を変換することによって取得した指紋画像を、第２学習済モデル１０９－２に入力し、入力した指紋画像に対して、第２学習済モデル１０９－２が出力した音情報と、指紋画像と指紋画像の特徴量との一致度とを取得する。
第２処理部１０８ｂ－２は、第２学習済モデル１０９－２を備えている。第２学習済モデル１０９－２は、指紋区間を変換した指紋画像を説明変数（特徴量）、音データによって示される音情報を目的変数として、指紋区間を変換した指紋画像と音データによって示される音情報との関係を機械学習したものである。第２学習済モデル１０９－２は、オープンシーヴィ（ＯｐｅｎＣＶ： Ｏｐｅｎ Ｓｏｕｒｃｅ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ Ｌｉｂｒａｒｙ）を用いて作成されたものであってもよい。
第２処理部１０８ｂ－２は、一又は複数の指紋区間の各々を変換することによって取得した指紋画像を、第２学習済モデル１０９－２に入力し、入力した指紋画像に対して、第２学習済モデル１０９－２が出力した音情報と、指紋画像と指紋画像の特徴量との一致度とを取得する。
【0085】
第２処理部１０８ｂ－２は、抽出部１０６ｂから一又は複数の指紋区間を取得する。第２処理部１０８ｂ－２は、取得した一又は複数の指紋区間に基づいて、音を判定する。具体的には第２処理部１０８ｂ－２は、一又は複数の指紋区間の各々を指紋画像に変換する。
第２処理部１０８ｂ－２は、第２学習済モデル１０９ａ－２を備えている。第２学習済モデル１０９ａ－２は、指紋区間を変換した指紋画像の次元を圧縮したものを説明変数（特徴量）、音データによって示される音情報を目的変数として、指紋区間を変換した指紋画像の次元を圧縮したものと音データによって示される音情報との関係を機械学習したものである。第２学習済モデル１０９ａ－２は、オートエンコーダを用いて作成されたものである。
第２処理部１０８ｂ－２は、指紋区間を変換することによって取得した指紋画像の次元を圧縮し、指紋画像の次元を圧縮した結果(情報)を、第２学習済モデル１０９ａ－２に入力し、入力した指紋画像の次元を圧縮した結果に対して、第２学習済モデル１０９ａ－２が出力した音情報を取得する。
第２処理部１０８ｂ－２は、第２学習済モデル１０９ａ－２を備えている。第２学習済モデル１０９ａ－２は、指紋区間を変換した指紋画像の次元を圧縮したものを説明変数（特徴量）、音データによって示される音情報を目的変数として、指紋区間を変換した指紋画像の次元を圧縮したものと音データによって示される音情報との関係を機械学習したものである。第２学習済モデル１０９ａ－２は、オートエンコーダを用いて作成されたものである。
第２処理部１０８ｂ－２は、指紋区間を変換することによって取得した指紋画像の次元を圧縮し、指紋画像の次元を圧縮した結果(情報)を、第２学習済モデル１０９ａ－２に入力し、入力した指紋画像の次元を圧縮した結果に対して、第２学習済モデル１０９ａ－２が出力した音情報を取得する。
【0086】
判定部１１０ｂは、第１処理部１０８ｂ－１から音画像に基づく音情報、音画像と音画像の特徴量との一致度、波形情報に基づく音情報及び類似度を取得し、第２処理部１０８ｂ－２から指紋画像に基づく音情報、指紋画像と指紋画像の特徴量との一致度、指紋画像の次元を圧縮した結果に基づく音情報、及び指紋画像の次元を圧縮した結果と指紋画像の次元を圧縮した結果の特徴量との一致度とを取得する。判定部１１０ｂは、取得した音画像に基づく音情報、波形情報に基づく音情報、指紋画像に基づく音情報及び指紋画像の次元を圧縮した結果に基づく音情報に基づいて受付部１０４が受け付けた音データに含まれる音の音情報を判定する。
【0087】
判定部１１０ｂは、全ての音情報が一致している場合には、その音情報を、受付部１０４が受け付けた音データに含まれる音の音情報とする。
判定部１１０ｂは、指紋画像に基づく音情報と指紋画像の次元を圧縮した結果に基づく音情報とが異なる場合には、指紋画像と指紋画像の特徴量との一致度と指紋画像の次元を圧縮した結果と指紋画像の次元を圧縮した結果の特徴量との一致度とに基づいて、一致度が高い方を音データに含まれる音の音情報とする。ここで、判定部１１０ｂは、一致度を評価する際に、指紋区間の周波数情報、音データの吹鳴区間情報及び吹鳴回数情報の各々に重みづけした場合には、その重みづけに基づいて判定（評価）してもよい。例えば、重みづけは、パーセントで表されてもよい。
判定部１１０ｂは、指紋画像に基づく音情報と指紋画像の次元を圧縮した結果に基づく音情報とが異なる場合には、指紋画像と指紋画像の特徴量との一致度と指紋画像の次元を圧縮した結果と指紋画像の次元を圧縮した結果の特徴量との一致度とに基づいて、一致度が高い方を音データに含まれる音の音情報とする。ここで、判定部１１０ｂは、一致度を評価する際に、指紋区間の周波数情報、音データの吹鳴区間情報及び吹鳴回数情報の各々に重みづけした場合には、その重みづけに基づいて判定（評価）してもよい。例えば、重みづけは、パーセントで表されてもよい。
【0088】
判定部１１０ｂは、指紋画像に基づく音情報と指紋画像の次元を圧縮した結果に基づく音情報とが異なる場合には、音画像に基づく音情報を、受付部１０４が受け付けた音データに含まれる音の音情報としてもよい。
判定部１１０ｂは、指紋画像に基づく音情報と指紋画像の次元を圧縮した結果に基づく音情報とが同じである場合にも、音画像に基づく音情報に基づいて、受付部１０４が受け付けた音データに含まれる音の音情報を判定してもよい。
判定部１１０ｂは、指紋画像に基づく音情報と指紋画像の次元を圧縮した結果に基づく音情報とが同じである場合にも、音画像に基づく音情報に基づいて、受付部１０４が受け付けた音データに含まれる音の音情報を判定してもよい。
【0089】
出力部１１２は、判定部１１０ｂによる受付部１０４が受け付けた音データに含まれる音の音情報の判定結果を取得する。出力部１１２は、取得した音の判定結果を出力する。出力部１１２は、音の判定結果を、音声で出力してもよいし、表示部（図示なし）に表示することによって出力してもよい。また、出力部１１２は、音の判定結果を、ネットワーク（図示なし）を介して、他の装置へ送信するようにしてもよい。
【0090】
抽出部１０６ｂ、第１処理部１０８ｂ－１、第２処理部１０８ｂ－２および判定部１１０ｂの全部または一部は、例えば、ＣＰＵなどのプロセッサが記憶部１１４に格納されたプログラムを実行することにより実現される機能部（以下、ソフトウェア機能部と称する）である。なお、抽出部１０６ｂ、第１処理部１０８ｂ－１、第２処理部１０８ｂ－２および判定部１１０ｂの全部または一部は、ＬＳＩ、ＡＳＩＣ、またはＦＰＧＡなどのハードウェアにより実現されてもよく、ソフトウェア機能部とハードウェアとの組み合わせによって実現されてもよい。
【0091】
（音判定システムの動作）
図１６は、実施形態の変形例２に係る音判定システム１００ｂの動作の一例を示すフロー図である。図１６を参照して、音判定システム１００ｂが、入力された音ファイルから得られる音データよって示される音情報を判定する処理について説明する。ここでは、音判定システム１００ｂにおいて、第１処理部１０８ｂ－１には第１学習済モデル１０９－１及び第１学習ＤＢ１０９ａ－１が記憶され、第２処理部１０８ｂ－２には第２学習済モデル１０９－２及び第２学習済モデル１０９ａ－２が記憶されている場合について説明する。
（ステップＳ１－７）
入力部１０２に、音ファイルが入力される。
（ステップＳ２－７）
解析部１０３は、入力部１０２から音ファイルを取得する。解析部１０３は、取得した音ファイルから音の波形を取得し、取得した音の波形を解析する。
（ステップＳ３－７）
受付部１０４は、解析部１０３から音データを取得する。受付部１０４は、取得した音データを受け付ける。
図１６は、実施形態の変形例２に係る音判定システム１００ｂの動作の一例を示すフロー図である。図１６を参照して、音判定システム１００ｂが、入力された音ファイルから得られる音データよって示される音情報を判定する処理について説明する。ここでは、音判定システム１００ｂにおいて、第１処理部１０８ｂ－１には第１学習済モデル１０９－１及び第１学習ＤＢ１０９ａ－１が記憶され、第２処理部１０８ｂ－２には第２学習済モデル１０９－２及び第２学習済モデル１０９ａ－２が記憶されている場合について説明する。
（ステップＳ１－７）
入力部１０２に、音ファイルが入力される。
（ステップＳ２－７）
解析部１０３は、入力部１０２から音ファイルを取得する。解析部１０３は、取得した音ファイルから音の波形を取得し、取得した音の波形を解析する。
（ステップＳ３－７）
受付部１０４は、解析部１０３から音データを取得する。受付部１０４は、取得した音データを受け付ける。
【0092】
（ステップＳ４－７）
抽出部１０６ｂは、受付部１０４から音データを取得し、取得した音データから、指紋区間を抽出する。
（ステップＳ５－７）
抽出部１０６ｂは、指紋区間の周波数情報、音データの吹鳴区間情報及び吹鳴回数情報などの波形情報を取得し、取得した指紋区間の周波数情報、音データの吹鳴区間情報及び吹鳴回数情報などの波形情報を、記憶部１１４の波形情報１１４ａに記憶させる。
（ステップＳ６－７）
第１処理部１０８ｂ－１は、受付部１０４から音データを取得する。第１処理部１０８ｂ－１は、取得した音データを音画像に変換する。第１処理部１０８ｂ－１は、音データを変換することによって取得した音画像を、第１学習済モデル１０９－１に入力し、入力した音画像に対して、第１学習済モデル１０９－１が出力した音情報と、音画像と音画像の特徴量との一致度とを取得する。
抽出部１０６ｂは、受付部１０４から音データを取得し、取得した音データから、指紋区間を抽出する。
（ステップＳ５－７）
抽出部１０６ｂは、指紋区間の周波数情報、音データの吹鳴区間情報及び吹鳴回数情報などの波形情報を取得し、取得した指紋区間の周波数情報、音データの吹鳴区間情報及び吹鳴回数情報などの波形情報を、記憶部１１４の波形情報１１４ａに記憶させる。
（ステップＳ６－７）
第１処理部１０８ｂ－１は、受付部１０４から音データを取得する。第１処理部１０８ｂ－１は、取得した音データを音画像に変換する。第１処理部１０８ｂ－１は、音データを変換することによって取得した音画像を、第１学習済モデル１０９－１に入力し、入力した音画像に対して、第１学習済モデル１０９－１が出力した音情報と、音画像と音画像の特徴量との一致度とを取得する。
【0093】
（ステップＳ７－７）
第１処理部１０８ｂ－１は、抽出部１０６ｂから波形情報を取得する。第１処理部１０８ｂ－１は、取得した波形情報と第１学習ＤＢ１０９ａ－１に含まれる複数の波形情報の各々と比較し、抽出部１０６ｂから取得した波形情報と複数の波形情報の各々との類似度を導出する。第１処理部１０８ｂ－１は、抽出部１０６ｂから取得した波形情報と複数の波形情報との類似度の導出結果に基づいて、類似度が高い波形情報に関連付けられている音情報を、抽出部１０６ｂから取得した波形情報の音情報とする。
（ステップＳ８－７）
音判定システム１００ｂにおいて、第２処理部１０８ｂ－２は、取得した指紋区間を指紋画像に変換する。第２処理部１０８ｂ－２は、指紋区間を変換することによって取得した指紋画像を、第２学習済モデル１０９－２に入力し、入力した指紋画像に対して、第２学習済モデル１０９－２が出力した音情報と、指紋画像と指紋画像の特徴量との一致度とを取得する。
第１処理部１０８ｂ－１は、抽出部１０６ｂから波形情報を取得する。第１処理部１０８ｂ－１は、取得した波形情報と第１学習ＤＢ１０９ａ－１に含まれる複数の波形情報の各々と比較し、抽出部１０６ｂから取得した波形情報と複数の波形情報の各々との類似度を導出する。第１処理部１０８ｂ－１は、抽出部１０６ｂから取得した波形情報と複数の波形情報との類似度の導出結果に基づいて、類似度が高い波形情報に関連付けられている音情報を、抽出部１０６ｂから取得した波形情報の音情報とする。
（ステップＳ８－７）
音判定システム１００ｂにおいて、第２処理部１０８ｂ－２は、取得した指紋区間を指紋画像に変換する。第２処理部１０８ｂ－２は、指紋区間を変換することによって取得した指紋画像を、第２学習済モデル１０９－２に入力し、入力した指紋画像に対して、第２学習済モデル１０９－２が出力した音情報と、指紋画像と指紋画像の特徴量との一致度とを取得する。
【0094】
（ステップＳ９－７）
音判定システム１００ｂにおいて、第２処理部１０８ｂ－２は、抽出部１０６ｂから指紋区間を取得する。第２処理部１０８ｂ－２は、取得した指紋区間を指紋画像に変換する。第２処理部１０８ｂ－２は、指紋区間を変換することによって取得した指紋画像の次元を圧縮したものを、第２学習済モデル１０９ａ－２に入力し、入力した指紋画像の次元を圧縮したものに対して、第２学習済モデル１０９ａ－２が出力した音情報と、指紋画像の次元を圧縮した結果と指紋画像の次元を圧縮した結果の特徴量との一致度を取得する。
（ステップＳ１０－７）
音判定システム１００ｂにおいて、判定部１１０ｂは、第１処理部１０８ｂ－１から音画像に基づく音情報と、音画像と音画像の特徴量との一致度及び波形情報に基づく音情報と類似度を取得し、第２処理部１０８ｂ－２から指紋画像に基づく音情報と、指紋画像と指紋画像の特徴量との一致度及び指紋画像の次元を圧縮した結果に基づく音情報と、指紋画像の次元を圧縮した結果と指紋画像の次元を圧縮した結果の特徴量との一致度を取得する。判定部１１０ｂは、取得した音画像に基づく音情報と、音画像と音画像の特徴量との一致度、波形情報に基づく音情報と類似度、指紋画像に基づく音情報と、指紋画像と指紋画像の特徴量との一致度及び指紋画像の次元を圧縮した結果に基づく音情報と、指紋画像の次元を圧縮した結果と指紋画像の次元を圧縮した結果の特徴量との一致度に基づいて受付部１０４が受け付けた音データに含まれる音の音情報を判定する。
（ステップＳ１１－７）
音判定システム１００ｂにおいて、出力部１１２は、判定部１１０ｂによる受付部１０４が受け付けた音データに含まれる音の音情報の判定結果を取得する。出力部１１２は、取得した音の判定結果を出力する。
第１学習済モデル１９０－１を作成する処理については図７を適用でき、第２学習済モデル１９０－２を作成する処理については図８を適用でき、第１学習ＤＢ１９０ａ－１を作成する処理については図１３を適用でき、第２学習済モデル１９０ａ－２を作成する処理については図１４を適用できるため、ここでの説明は省略する。
音判定システム１００ｂにおいて、第２処理部１０８ｂ－２は、抽出部１０６ｂから指紋区間を取得する。第２処理部１０８ｂ－２は、取得した指紋区間を指紋画像に変換する。第２処理部１０８ｂ－２は、指紋区間を変換することによって取得した指紋画像の次元を圧縮したものを、第２学習済モデル１０９ａ－２に入力し、入力した指紋画像の次元を圧縮したものに対して、第２学習済モデル１０９ａ－２が出力した音情報と、指紋画像の次元を圧縮した結果と指紋画像の次元を圧縮した結果の特徴量との一致度を取得する。
（ステップＳ１０－７）
音判定システム１００ｂにおいて、判定部１１０ｂは、第１処理部１０８ｂ－１から音画像に基づく音情報と、音画像と音画像の特徴量との一致度及び波形情報に基づく音情報と類似度を取得し、第２処理部１０８ｂ－２から指紋画像に基づく音情報と、指紋画像と指紋画像の特徴量との一致度及び指紋画像の次元を圧縮した結果に基づく音情報と、指紋画像の次元を圧縮した結果と指紋画像の次元を圧縮した結果の特徴量との一致度を取得する。判定部１１０ｂは、取得した音画像に基づく音情報と、音画像と音画像の特徴量との一致度、波形情報に基づく音情報と類似度、指紋画像に基づく音情報と、指紋画像と指紋画像の特徴量との一致度及び指紋画像の次元を圧縮した結果に基づく音情報と、指紋画像の次元を圧縮した結果と指紋画像の次元を圧縮した結果の特徴量との一致度に基づいて受付部１０４が受け付けた音データに含まれる音の音情報を判定する。
（ステップＳ１１－７）
音判定システム１００ｂにおいて、出力部１１２は、判定部１１０ｂによる受付部１０４が受け付けた音データに含まれる音の音情報の判定結果を取得する。出力部１１２は、取得した音の判定結果を出力する。
第１学習済モデル１９０－１を作成する処理については図７を適用でき、第２学習済モデル１９０－２を作成する処理については図８を適用でき、第１学習ＤＢ１９０ａ－１を作成する処理については図１３を適用でき、第２学習済モデル１９０ａ－２を作成する処理については図１４を適用できるため、ここでの説明は省略する。
【0095】
実施形態の変形例２に係る音判定システムによれば、音判定システム１００ｂは、音判定システム１００において、抽出部１０６ｂは、音データに基づいて波形情報を取得し、第１処理部１０８ｂ－１は、複数の音データの各々について波形情報と音データの音を識別する情報とを関連付けた情報を記憶しており、当該情報を使用して、抽出部１０６ｂが取得した波形情報に基づいて音を判定するとともに、複数の音声データの各々について音画像と音データの音を識別する情報との関係を機械学習しており、受付部１０４が受け付けた音声データを音画像に変換し、当該機械学習の結果を使用して、音画像に基づいて音を判定する。
このように構成することによって、音判定システム１００ｂは、音データに基づいて波形情報を取得し、複数の音データの各々について波形情報と音データの音を識別する情報とを関連付けた情報を使用して、取得した波形情報に基づいて音を判定するとともに、受け付けた音声データを音画像に変換し、複数の音声データの各々について音画像と音データの音を識別する情報との関係を機械学習した結果を使用して、音画像に基づいて音を判定できる。このため、複数の音データの各々について波形情報と音データの音を識別する情報とを関連付けた情報と、複数の音声データの各々について音画像と音データの音を識別する情報との関係を機械学習した結果とのいずれか一方を使用した場合と比較して、判定精度を高めることができる。
このように構成することによって、音判定システム１００ｂは、音データに基づいて波形情報を取得し、複数の音データの各々について波形情報と音データの音を識別する情報とを関連付けた情報を使用して、取得した波形情報に基づいて音を判定するとともに、受け付けた音声データを音画像に変換し、複数の音声データの各々について音画像と音データの音を識別する情報との関係を機械学習した結果を使用して、音画像に基づいて音を判定できる。このため、複数の音データの各々について波形情報と音データの音を識別する情報とを関連付けた情報と、複数の音声データの各々について音画像と音データの音を識別する情報との関係を機械学習した結果とのいずれか一方を使用した場合と比較して、判定精度を高めることができる。
【0096】
音判定システム１００ｂにおいて、抽出部１０６ｂは、音データから、音の特徴が表されている部分を抽出し、第２処理部１０８ｂ－２は、複数の音声データの各々について音の特徴が表されている部分の音画像と音データの音を識別する情報との関係を機械学習しており、抽出部１０６ｂが抽出した音の特徴が表されている部分を音画像に変換し、当該機械学習の結果を使用して、音の特徴が表されている部分の音画像に基づいて音を判定するとともに、抽出部１０６ｂは、音データから、音の特徴が表されている部分を抽出し、複数の音声データの各々について音の特徴が表されている部分の音画像の次元を圧縮した結果と音データの音を識別する情報との関係を機械学習しており、抽出部１０６ｂが抽出した音の特徴が表されている部分を音画像に変換し、音画像の次元を圧縮し、当該機械学習の結果を使用して、音の特徴が表されている部分の音画像の次元を圧縮した結果に基づいて音を判定する。
このように構成することによって、音判定システム１００ｂは、音データから、音の特徴が表されている部分を抽出し、複数の音声データの各々について音の特徴が表されている部分の音画像と音データの音を識別する情報との関係を機械学習した結果を使用して、音の特徴が表されている部分の音画像に基づいて音を判定するとともに、複数の音声データの各々について音の特徴が表されている部分の音画像の次元を圧縮した結果と音データの音を識別する情報との関係を機械学習した結果を使用して、音の特徴が表されている部分の音画像の次元を圧縮した結果に基づいて音を判定できる。このため、複数の音声データの各々について音の特徴が表されている部分の音画像と音データの音を識別する情報との関係を機械学習した結果と、複数の音声データの各々について音の特徴が表されている部分の音画像の次元を圧縮した結果と音データの音を識別する情報との関係を機械学習した結果とのいずれか一方を使用した場合と比較して、判定精度を高めることができる。
このように構成することによって、音判定システム１００ｂは、音データから、音の特徴が表されている部分を抽出し、複数の音声データの各々について音の特徴が表されている部分の音画像と音データの音を識別する情報との関係を機械学習した結果を使用して、音の特徴が表されている部分の音画像に基づいて音を判定するとともに、複数の音声データの各々について音の特徴が表されている部分の音画像の次元を圧縮した結果と音データの音を識別する情報との関係を機械学習した結果を使用して、音の特徴が表されている部分の音画像の次元を圧縮した結果に基づいて音を判定できる。このため、複数の音声データの各々について音の特徴が表されている部分の音画像と音データの音を識別する情報との関係を機械学習した結果と、複数の音声データの各々について音の特徴が表されている部分の音画像の次元を圧縮した結果と音データの音を識別する情報との関係を機械学習した結果とのいずれか一方を使用した場合と比較して、判定精度を高めることができる。
【0097】
音判定システム１００ｂにおいて、判定部１１０ｂは、音の特徴が表されている部分の音画像に基づいて音を判定した結果と、音の特徴が表されている部分の音画像の次元を圧縮した結果に基づいて音を判定した結果とのいずれかを、特徴量との一致度に基づいて判定する。
このように構成することによって、音判定システムは、音の特徴が表されている部分の音画像に基づいて音を判定した結果と、音の特徴が表されている部分の音画像の次元を圧縮した結果に基づいて音を判定した結果とのいずれかを、音の特徴が表されている部分の音画像と音の特徴が表されている部分の音画像の特徴量との一致度と、音の特徴が表されている部分の音画像の次元を圧縮した結果と音の特徴が表されている部分の音画像の次元を圧縮した結果の特徴量との一致度とに基づいて判定できるため、音の特徴が表されている部分の音画像に基づいて音を判定した結果と、音の特徴が表されている部分の音画像の次元を圧縮した結果に基づいて音を判定した結果とが異なる場合であっても、音を判定できる。
このように構成することによって、音判定システムは、音の特徴が表されている部分の音画像に基づいて音を判定した結果と、音の特徴が表されている部分の音画像の次元を圧縮した結果に基づいて音を判定した結果とのいずれかを、音の特徴が表されている部分の音画像と音の特徴が表されている部分の音画像の特徴量との一致度と、音の特徴が表されている部分の音画像の次元を圧縮した結果と音の特徴が表されている部分の音画像の次元を圧縮した結果の特徴量との一致度とに基づいて判定できるため、音の特徴が表されている部分の音画像に基づいて音を判定した結果と、音の特徴が表されている部分の音画像の次元を圧縮した結果に基づいて音を判定した結果とが異なる場合であっても、音を判定できる。
【0098】
以上、本発明の実施形態と、実施形態の変形例について図面を参照して詳述してきたが、具体的な構成はこの実施形態と、実施形態の変形例とに限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
また、上述した音判定システム１００、音判定システム１００ａ及び音判定システム１００ｂ、第１学習モデル作成システム２００、第２学習モデル作成システム３００、第１学習ＤＢ作成システム４００、第２学習モデル作成システム３００ａの機能を実現するためのコンピュータプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行するようにしてもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
また、上述した音判定システム１００、音判定システム１００ａ及び音判定システム１００ｂ、第１学習モデル作成システム２００、第２学習モデル作成システム３００、第１学習ＤＢ作成システム４００、第２学習モデル作成システム３００ａの機能を実現するためのコンピュータプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行するようにしてもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【0099】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。
さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。
さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【符号の説明】
【0100】
１００、１００ａ、１００ｂ…音判定システム、１０２…入力部、１０３…解析部、１０４…受付部、１０６、１０６ａ、１０６ｂ…抽出部、１０８－１、１０８ａ－１、１０８ｂ－１…第１処理部、１０８－２、１０８ａ－２、１０８ｂ－２…第２処理部、１０９－１…第１学習済モデル、１０９ａ－１…第１学習ＤＢ、１０９－２、１０９ａ－２…第２学習済モデル、１１０、１１０ａ、１１０ｂ…判定部、１１２…出力部、１１４…記憶部、１１４ａ…波形情報、２００…第１学習モデル作成システム、２１０…入力部、２２０…受付部、２３０…処理部、２３２…学習モデル、２４０…出力部、２５０…記憶部、３００、３００ａ…第２学習モデル作成システム、３１０…入力部、３２０…受付部、３３０、３３０ａ…処理部、３３２、３３２ａ…学習モデル、３４０、３４０ａ…出力部、３５０…記憶部、４００…第１学習ＤＢ作成システム、４１０…入力部、４２０…受付部、４３０…処理部、４３２…学習ＤＢ、４４０…出力部、４５０…記憶部
【図1】
【図2A】
【図2B】
【図2C】
【図2D】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】