特許 7516743 基音抽出装置、基音抽出方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-08

(45)【発行日】2024-07-17

(54)【発明の名称】基音抽出装置、基音抽出方法、およびプログラム

(51)【国際特許分類】

   G10L 25/90 20130101AFI20240709BHJP

【ＦＩ】

G10L25/90

【請求項の数】 10

(21)【出願番号】P 2019202906

(22)【出願日】2019-11-08

(65)【公開番号】P2021076699

(43)【公開日】2021-05-20

【審査請求日】2022-10-26

(73)【特許権者】

【識別番号】000003193

【氏名又は名称】ＴＯＰＰＡＮホールディングス株式会社

(74)【代理人】

【識別番号】100149548

【弁理士】

【氏名又は名称】松沼 泰史

(74)【代理人】

【識別番号】100139686

【弁理士】

【氏名又は名称】鈴木 史朗

(74)【代理人】

【識別番号】100169764

【弁理士】

【氏名又は名称】清水 雄一郎

(74)【代理人】

【識別番号】100147267

【弁理士】

【氏名又は名称】大槻 真紀子

(72)【発明者】

【氏名】小黒 久史

【審査官】菊池 智紀

(56)【参考文献】

【文献】特開２００１－２６５３３０（ＪＰ，Ａ）

【文献】特開２０１１－０２２４８９（ＪＰ，Ａ）

【文献】特表２００４－５３８５２５（ＪＰ，Ａ）

【文献】半田伊吹 他，"音響信号からのメロディ検索と採譜"，情報処理学会研究報告，2000年08月06日，Vol.2000, No.76，pp.7-12

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ１０Ｌ ２５／００－２５／９３

Ｇ１０Ｈ １／００－ ７／１２

Ｇ１０Ｇ １／００－ ７／０２

(57)【特許請求の範囲】

【請求項1】

基音の抽出対象の周波数スペクトルにおいて、前記周波数スペクトルが示す信号強度のピーク周波数を少なくとも１つ検出する検出部と、
前記検出部により検出された前記ピーク周波数に基づき、基音周波数の候補の周波数である候補周波数と前記候補周波数の倍音周波数とを算出し、前記候補周波数の前記信号強度と前記倍音周波数の前記信号強度との総量により前記候補周波数の妥当性を評価する評価部と、
前記評価部による評価結果に基づき、前記候補周波数から前記抽出対象の前記基音周波数を抽出する抽出部と、
を備え、
前記評価部は、前記ピーク周波数を１／Ｎ（Ｎは自然数）倍して複数の前記候補周波数を算出し、前記候補周波数をＭ（Ｍは自然数）倍して複数の前記倍音周波数を前記候補周波数ごとに算出し、前記候補周波数ごとに前記倍音周波数との前記信号強度の総量を算出して前記妥当性を評価する、基音抽出装置。

【請求項2】

前記評価部は、所定の範囲における複数の自然数Ｎの各々において、前記候補周波数の前記妥当性を評価するための妥当性指標を算出し、算出した前記妥当性指標の中で最大値を示す前記妥当性指標と対応する前記候補周波数を、前記抽出対象の前記基音周波数と決定する、請求項１に記載の基音抽出装置。

【請求項3】

最大値を示す前記妥当性指標が複数存在する場合、
前記評価部は、複数の前記妥当性指標の各々と対応する前記候補周波数の内、前記候補周波数の各々の算出に用いられた前記自然数Ｎが最も小さい前記候補周波数を、前記抽出対象の前記基音周波数と決定する、請求項２に記載の基音抽出装置。

【請求項4】

前記評価部は、前記自然数Ｎが大きくなるに従い、前記総量を小さくする補正を前記妥当性指標に対して行う、請求項２又は請求項３に記載の基音抽出装置。

【請求項5】

前記評価部は、補正係数を指数とする前記自然数Ｎのべき乗を補正値として算出し、算出した前記補正値を前記妥当性指標に乗じて前記妥当性指標を補正する、請求項４に記載の基音抽出装置。

【請求項6】

第１のピーク周波数と対応する第１の基音周波数及び倍音周波数以外の周波数において、第２のピーク周波数が検出された場合、
前記抽出部は、検出された前記第２のピーク周波数と対応する第２の基音周波数を抽出する、請求項１から請求項５のいずれか１項に記載の基音抽出装置。

【請求項7】

前記検出部は、前記周波数スペクトルにおいて、前記信号強度が最大値である周波数を前記ピーク周波数として検出する、請求項１から請求項６のいずれか１項に記載の基音抽出装置。

【請求項8】

前記評価部は、所定の閾値以上の前記信号強度の前記総量により前記妥当性を評価する、請求項１から請求項７のいずれか１項に記載の基音抽出装置。

【請求項9】

検出部が、基音の抽出対象の周波数スペクトルにおいて、前記周波数スペクトルが示す信号強度のピーク周波数を少なくとも１つ検出することと、
評価部が、前記検出部により検出された前記ピーク周波数に基づき、基音周波数の候補の周波数である候補周波数と前記候補周波数の倍音周波数とを算出し、前記候補周波数の前記信号強度と前記倍音周波数の前記信号強度との総量により前記候補周波数の妥当性を評価することと、
抽出部が、前記評価部による評価結果に基づき、前記候補周波数から前記抽出対象の前記基音周波数を抽出することと、
を含み、
前記評価部は、前記ピーク周波数を１／Ｎ（Ｎは自然数）倍して複数の前記候補周波数を算出し、前記候補周波数をＭ（Ｍは自然数）倍して複数の前記倍音周波数を前記候補周波数ごとに算出し、前記候補周波数ごとに前記倍音周波数との前記信号強度の総量を算出して前記妥当性を評価する、基音抽出方法。

【請求項10】

コンピュータを、
基音の抽出対象の周波数スペクトルにおいて、前記周波数スペクトルが示す信号強度のピーク周波数を少なくとも１つ検出する検出部と、
前記検出部により検出された前記ピーク周波数に基づき、基音周波数の候補の周波数である候補周波数と前記候補周波数の倍音周波数とを算出し、前記候補周波数の前記信号強度と前記倍音周波数の前記信号強度との総量により前記候補周波数の妥当性を評価する評価部と、
前記評価部による評価結果に基づき、前記候補周波数から前記抽出対象の前記基音周波数を抽出する抽出部と、
として機能させ、
前記評価部は、前記ピーク周波数を１／Ｎ（Ｎは自然数）倍して複数の前記候補周波数を算出し、前記候補周波数をＭ（Ｍは自然数）倍して複数の前記倍音周波数を前記候補周波数ごとに算出し、前記候補周波数ごとに前記倍音周波数との前記信号強度の総量を算出して前記妥当性を評価する、プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、基音抽出装置、基音抽出方法、およびプログラムに関する。

【背景技術】

【0002】

従来、基音と倍音で構成される人の声や楽器音等の音から、基音を抽出する技術が各種提案されている。

【0003】

例えば、下記特許文献１には、複数の倍音周波数を検出し、検出した複数の倍音周波数の最大公約数に基づき、基音周波数を算出して基音を抽出する技術が開示されている。当該技術は、複数の倍音周波数に基づき、基音を直接検出できないような音からも基音を抽出することができる。

【先行技術文献】

【特許文献】

【0004】

【文献】特許第５２４６２０８号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１の技術では、倍音周波数を２つ以上検出する必要がある。そのため、倍音周波数が１つしか検出されない場合、当該技術では、基音を抽出できない。あるいは、当該技術では、検出した１つの倍音周波数を基音周波数として基音を抽出せざるを得ない。また、２つ以上の倍音周波数が検出されても、最大ピーク周波数以外の倍音周波数は、ノイズ等の影響により、検出の精度が安定しない場合がある。そのため、２つ以上の倍音周波数には、検出の精度が低い倍音周波数が含まれる可能性がある。よって、当該技術では、検出される倍音周波数の数に関わらず、基音抽出の精度が低下し得る。

【0006】

上述の課題を鑑み、本発明の目的は、基音抽出の精度を向上することが可能な基音抽出装置、基音抽出方法、およびプログラムを提供することにある。

【課題を解決するための手段】

【0007】

上述の課題を解決するために、本発明の一態様に係る基音抽出装置は、基音の抽出対象の周波数スペクトルにおいて、前記周波数スペクトルが示す信号強度のピーク周波数を少なくとも１つ検出する検出部と、前記検出部により検出された前記ピーク周波数に基づき、基音周波数の候補の周波数である候補周波数と前記候補周波数の倍音周波数とを算出し、前記候補周波数の前記信号強度と前記倍音周波数の前記信号強度との総量により前記候補周波数の妥当性を評価する評価部と、前記評価部による評価結果に基づき、前記候補周波数から前記抽出対象の前記基音周波数を抽出する抽出部と、を備え、前記評価部は、前記ピーク周波数を１／Ｎ（Ｎは自然数）倍して複数の前記候補周波数を算出し、前記候補周波数をＭ（Ｍは自然数）倍して複数の前記倍音周波数を前記候補周波数ごとに算出し、前記候補周波数ごとに前記倍音周波数との前記信号強度の総量を算出して前記妥当性を評価する。

【0008】

本発明の一態様に係る基音抽出方法は、検出部が、基音の抽出対象の周波数スペクトルにおいて、前記周波数スペクトルが示す信号強度のピーク周波数を少なくとも１つ検出することと、評価部が、前記検出部により検出された前記ピーク周波数に基づき、基音周波数の候補の周波数である候補周波数と前記候補周波数の倍音周波数とを算出し、前記候補周波数の前記信号強度と前記倍音周波数の前記信号強度との総量により前記候補周波数の妥当性を評価することと、抽出部が、前記評価部による評価結果に基づき、前記候補周波数から前記抽出対象の前記基音周波数を抽出することと、を含み、前記評価部は、前記ピーク周波数を１／Ｎ（Ｎは自然数）倍して複数の前記候補周波数を算出し、前記候補周波数をＭ（Ｍは自然数）倍して複数の前記倍音周波数を前記候補周波数ごとに算出し、前記候補周波数ごとに前記倍音周波数との前記信号強度の総量を算出して前記妥当性を評価する。

【0009】

本発明の一態様に係るプログラムは、コンピュータを、基音の抽出対象の周波数スペクトルにおいて、前記周波数スペクトルが示す信号強度のピーク周波数を少なくとも１つ検出する検出部と、前記検出部により検出された前記ピーク周波数に基づき、基音周波数の候補の周波数である候補周波数と前記候補周波数の倍音周波数とを算出し、前記候補周波数の前記信号強度と前記倍音周波数の前記信号強度との総量により前記候補周波数の妥当性を評価する評価部と、前記評価部による評価結果に基づき、前記候補周波数から前記抽出対象の前記基音周波数を抽出する抽出部と、として機能させ、前記評価部は、前記ピーク周波数を１／Ｎ（Ｎは自然数）倍して複数の前記候補周波数を算出し、前記候補周波数をＭ（Ｍは自然数）倍して複数の前記倍音周波数を前記候補周波数ごとに算出し、前記候補周波数ごとに前記倍音周波数との前記信号強度の総量を算出して前記妥当性を評価する。

【発明の効果】

【0010】

本発明によれば、基音抽出の精度を向上することができる。

【図面の簡単な説明】

【0011】

【図1】本発明の一実施形態に係る基音抽出装置の機能構成の一例を示すブロック図である。

【図2】同実施形態に係る自然数Ｎ＝１の場合の候補周波数と倍音周波数の算出の一例を示す図である。

【図3】同実施形態に係る自然数Ｎ＝２の場合の候補周波数と倍音周波数の算出の一例を示す図である。

【図4】同実施形態に係る自然数Ｎ＝３の場合の候補周波数と倍音周波数の算出の一例を示す図である。

【図5】同実施形態に係る自然数Ｎ＝４の場合の候補周波数と倍音周波数の算出の一例を示す図である。

【図6】同実施形態に係る和音の抽出の一例を示す図である。

【図7】同実施形態に係る基音抽出装置における処理の流れの一例を示すフローチャートである。

【発明を実施するための形態】

【0012】

以下、図面を参照しながら本発明の一実施形態について詳しく説明する。

【0013】

＜１．概要＞
本発明は、抽出対象から基音を抽出する基音抽出装置に関する。抽出対象は、例えば、人の声や楽器音等である。なお、抽出対象は、かかる例に限定されない。

【0014】

楽器音に関して、例えば、楽器の演奏では正しい音階の音を出すことが望まれる。しかしながら、奏者の技量によっては、奏者が目的とする音階の音を出せない場合がある。特に、管弦楽器においてこれらの状況が起こり得る。管弦楽器では、例えば、１つの音を出すために複数の動作を要する。管楽器では、例えば、指の使い方や息の吹き方によって音が変化する。弦楽器では、例えば、弦の抑え方や弦の弾き方によって音が変化する。

【0015】

管楽器は、大きく木管楽器と金管楽器に分類される。木管楽器の一例として、フルート、リコーダー、サックス等が挙げられる。金管楽器の一例として、トランペット、チューバ、トロンボーン等が挙げられる。弦楽器の一例として、ヴァイオリン、チェロ、ギター等が挙げられる。なお、楽器の種類は、かかる例に限定されず、例えば、打楽器であってもよい。

【0016】

奏者は、ある音階の音を出す際に、常に同じ動作を行うことができれば、常に安定した音を出すことができる。しかしながら、奏者が常に同じ動作を安定して行えるようになるには、相当量の練習を要する。そのため、奏者の練習の効率化が望まれる。例えば、奏者の練習において、楽器音の特徴を可視化して奏者に分かりやすく伝えることができれば、奏者は、自身の演奏の問題点を容易に把握することができ、効率的に練習を行うことができる。楽器音の特徴とは、例えば、楽器音の基音である。基音を可視化するためには、楽器音から基音を抽出する必要がある。また、奏者の練習の効率をより向上させるためには、より精度高く、楽器音から基音が抽出されることが望ましい。

【0017】

そこで、以下では、基音抽出の精度を向上することが可能な基音抽出装置について詳細に説明する。また、以下では、抽出対象が楽器音である例について説明する。

【0018】

＜２．基音抽出装置の機能構成＞
まず、図１を参照して、本実施形態に基音抽出装置の機能構成の一例について説明する。図１は、本発明の実施形態に係る基音抽出装置の機能構成の一例を示すブロック図である。図１に示すように、基音抽出装置１０は、入力部１１０、制御部１２０、及び出力部１３０を備える。

【0019】

（１）入力部１１０
入力部１１０は、抽出対象の音を取得する機能を有する。入力部１１０は、例えば、マイクロフォン（以下、「マイク」とも称される）により実現される。具体的に、入力部１１０は、マイクに入力された楽器音を抽出対象として取得する。取得後、入力部１１０は、取得した楽器音に応じたアナログ信号を制御部１２０へ出力する。

【0020】

（２）制御部１２０
制御部１２０は、基音抽出装置１０の動作全般を制御する機能を有する。制御部１２０は、例えば、基音抽出装置１０がハードウェアとして備えるＣＰＵ（Central Processing Unit）にプログラムを実行させることによって実現される。当該機能を実現するために、制御部１２０は、変換部１２０２、検出部１２０４、評価部１２０６、抽出部１２０８、及び後処理部１２１０を備える。

【0021】

（２－１）変換部１２０２
変換部１２０２は、抽出対象に関する変換処理を行う機能を有する。例えば、変換部１２０２は、入力部１１０から入力される楽器音のアナログ信号に対して変換処理を行う。変換処理後、変換部１２０２は、変換処理による出力を検出部１２０４へ出力する。変換部１２０２が行う変換処理は、例えば、Ａ／Ｄ変換、及びＦＦＴ（Fast Fourier Transform）である。

【0022】

（Ａ／Ｄ変換）
Ａ／Ｄ変換は、アナログ信号をデジタル信号に変換する処理である。例えば、変換部１２０２は、入力部１１０から入力される楽器音のアナログ信号をデジタル信号に変換する。Ａ／Ｄ変換時のサンプリング周波数は、４４．１ｋＨｚとする。サンプリング周波数が４４．１ｋＨｚの場合、1秒間にサンプリングされる点数は、４４１００点である。なお、サンプリング周波数は、かかる例に限定されない。

【0023】

（ＦＦＴ）
ＦＦＴは、時間軸波形を周波数スペクトルに変換する処理である。例えば、変換部１２０２は、Ａ／Ｄ変換で出力されるデジタル信号に対してＦＦＴを行う。これにより、変換部１２０２は、楽器音の時間軸波形を周波数スペクトルに変換することができる。ＦＦＴ後、変換部１２０２は、ＦＦＴにより得られた楽器音の周波数スペクトルを検出部１２０４へ出力する。

【0024】

通常のＦＦＴ処理では、変換部１２０２は、例えば、サンプリング周波数が４４．１ｋＨｚの場合、１秒間にサンプリングされた４４１００点の内、８１９２点を対象にＦＦＴを行う。ＦＦＴの対象となる点は、以下では、「対象点」とも称される。また、対象点の数は、以下では、「対象点数」とも称される。なお、対象点数は、かかる例に限定されない。例えば、解析時間の短縮が求められる場合、対象点数は、通常時より少ない２０４８点であってもよい。また、より高精度な解析処理結果が求められる場合、対象点数は、通常時より多い１６３８４点であってもよい。

【0025】

（２－２）検出部１２０４
検出部１２０４は、抽出対象のピーク周波数を検出する機能を有する。例えば、検出部１２０４は、変換部１２０２から入力される楽器音の周波数スペクトルに基づき、楽器音のピーク周波数を検出する。検出後、検出部１２０４は、検出したピーク周波数を評価部１２０６へ出力する。

【0026】

検出部１２０４は、楽器音の周波数スペクトルにおいて、ピークを示している信号強度の周波数を、ピーク周波数として少なくとも１つ検出する。本実施形態に係る検出部１２０４は、１つのピーク周波数を検出する。当該１つのピーク周波数は、例えば、ピークの信号強度が最大値である周波数である。以下では、信号強度が最大値であるピーク周波数は、「最大ピーク周波数」とも称される。ピーク周波数はｆ_ｐ、ピーク周波数におけるパワーはＰ_ｐと示される。

【0027】

検出部１２０４は、第１の範囲内の周波数からピーク周波数を検出する。本実施形態では、第１の範囲は、検出処理の処理時間を考慮して４０Ｈｚ～５０００Ｈｚの範囲に設定される。なお、第１の範囲は、かかる例に限定されない。

【0028】

また、検出部１２０４は、所定の条件を満たす周波数をピーク周波数とする。所定の条件は、例えば、第１の範囲において、第１の閾値以上のパワーの周波数であることである。第１の閾値は、例えば、第１の範囲における平均パワーの１０倍の値である。

【0029】

また、所定の条件には、第２の範囲において、第２の閾値以上のパワーの周波数であることが含まれてもよい。例えば、サンプリング周波数が４４．１ｋＨｚでＦＦＴの対象点数が８１９２点である場合、ＦＦＴのバンド幅は約５．４Ｈｚである。この場合、第２の範囲は、例えば、ある周波数の両側の２バンド、約±１０．８Ｈｚである。第２の閾値は、例えば、ある周波数の約±１０．８Ｈｚ内の周波数の平均パワーの４倍の値である。なお、所定の条件、第１の範囲、第２の範囲、第１の閾値、及び第２の閾値は、かかる例に限定されない。

【0030】

また、検出部１２０４は、ピーク周波数の検出時に、補間を行ってもよい。例えば、検出部１２０４は、隣り合う２バンドに対して２バンドの振幅を用いた線形補間を行う。これにより、周波数分解能が向上し、ピーク周波数の検出の精度を向上することができる。具体例として、対象点数が８１９２点であり、バンド幅が５Ｈｚ、ピーク周波数が４４２Ｈｚである場合の例について説明する。この場合、バンド幅が５Ｈｚであるため、ピーク周波数の４４２Ｈｚ付近では、４４０Ｈｚと４４５Ｈｚが対象バンドとなる。そのため、いずれかの対象バンドにおける周波数をピーク周波数として検出する場合、４４０Ｈｚがピーク周波数として検出される。よって、実際のピーク周波数である４４２Ｈｚは、ピーク周波数として検出されない。そこで、検出部１２０４は、４４０Ｈｚと４４５Ｈｚ間で線形補間を行う。線形補間により、検出部１２０４は、４４０Ｈｚと４４５Ｈｚの間の周波数をピーク周波数として検出する。これにより、検出部１２０４は、実際のピーク周波数により近い周波数をピーク周波数として検出することができる。よって、検出部１２０４は、線形補間により、ピーク周波数の検出の精度を向上することができる。

【0031】

（２－３）評価部１２０６
評価部１２０６は、基音周波数を決定する機能を有する。評価部１２０６は、検出部１２０４により検出されたピーク周波数に基づき、抽出対象の基音周波数の候補となる周波数である候補周波数と、候補周波数の倍音周波数を算出する。評価部１２０６は、算出した候補周波数と倍音周波数に基づき、候補周波数の妥当性を評価し、基音周波数を決定する。

【0032】

（候補周波数の算出）
以下、候補周波数は、ｆ_ｋとも示される。また、基音周波数は、ｆ_ｆとも示される。評価部１２０６は、検出部１２０４から入力されるピーク周波数に基づき、候補周波数を算出する。一般に、ピーク周波数は、基音周波数のＮ（Ｎは自然数）倍の倍音周波数である。そこで、評価部１２０６は、例えば、ピーク周波数の１／Ｎ（Ｎは自然数）倍の周波数を候補周波数として算出する。即ち、候補周波数ｆ_ｋ＝ｆ_ｐ／Ｎである。

【0033】

なお、候補周波数として算出した周波数のパワーが第３の閾値よりも小さい場合、評価部１２０６は、当該周波数を候補周波数から除外してもよい。第３の閾値は、例えば、ピーク周波数のパワーＰ_ｐに基音閾値係数を乗じた値である。

【0034】

（倍音周波数の算出）
評価部１２０６は、算出した候補周波数の倍音周波数を算出する。以下、倍音周波数は、ｆ_ｈとも示される。例えば、評価部１２０６は、候補周波数のＭ（Ｍは自然数）倍の周波数を倍音周波数として算出する。即ち、倍音周波数ｆ_ｈ＝Ｍｆ_ｋである。

【0035】

ここで、図２～図５を参照して、候補周波数と倍音周波数の算出の一例について説明する。図２～図５は、本実施形態に係る候補周波数と倍音周波数の算出の一例を示す図である。図２～図５に示す周波数スペクトルの横軸は周波数ｆ（Ｈｚ）、縦軸はパワーＰ（ｄＢ）を示している。以下、図２～図５の例では、自然数Ｎ＝２が真値（ピーク周波数が２倍音）である場合であって、自然数Ｎ＝１～４のそれぞれの場合における基音周波数、倍音周波数の候補について説明する。図２～図５の例では、ピーク周波数ｆ_ｐ、候補周波数ｆ_ｋ、又は倍音周波数ｆ_ｈとなり得る周波数として、周波数ｆ_１～ｆ_１２を用いる。周波数ｆ_１～ｆ_１２には、周波数の値が小さい方から順に番号１～１２が付与されている。即ち、図２～図５の例において、検出又は算出される周波数は、最小値がｆ_１、最大値がｆ_１２である。また、図２～図５の例では、検出部１２０４は、パワーが最大である周波数（最大ピーク周波数）をピーク周波数ｆ_ｐとして検出するものとする。そのため、この例では、検出部１２０４が検出するピーク周波数ｆ_ｐは、ｆ_６である。

【0036】

図２は、自然数Ｎ＝１の場合の算出例を示している。なお、周波数ｆ_１２は、周波数ｆ_６の２倍である。候補周波数に関して、自然数Ｎ＝１の時の候補周波数ｆ_ｋは、ｆ_６と算出される。倍音周波数に関して、Ｍ＝１の時の倍音周波数ｆ_ｈは、ｆ_６と算出される。Ｍ＝２の時の倍音周波数ｆ_ｈは、ｆ_１２と算出される。

【0037】

図３は、自然数Ｎ＝２の場合の算出例を示している。なお、周波数ｆ_６は、周波数ｆ_３の２倍である。周波数ｆ_９は、周波数ｆ_３の３倍である。周波数ｆ_１２は、周波数ｆ_３の４倍である。候補周波数に関して、自然数Ｎ＝２の時の候補周波数ｆ_ｋは、ｆ_３と算出される。倍音周波数に関して、Ｍ＝１の時の倍音周波数ｆ_ｈは、ｆ_３と算出される。Ｍ＝２の時の倍音周波数ｆ_ｈは、ｆ_６と算出される。Ｍ＝３の時の倍音周波数ｆ_ｈは、ｆ_９と算出される。Ｍ＝４の時の倍音周波数ｆ_ｈは、ｆ_１２と算出される。

【0038】

図４は、自然数Ｎ＝３の場合の算出例を示している。なお、周波数ｆ_４は、周波数ｆ_２の２倍である。周波数ｆ_６は、周波数ｆ_２の３倍である。周波数ｆ_８は、周波数ｆ_２の４倍である。周波数ｆ_１０は、周波数ｆ_２の５倍である。周波数ｆ_１２は、周波数ｆ_２の６倍である。候補周波数に関して、自然数Ｎ＝３の時の候補周波数ｆ_ｋは、ｆ_２と算出される。倍音周波数に関して、Ｍ＝１の時の倍音周波数ｆ_ｈは、ｆ_２と算出される。Ｍ＝２の時の倍音周波数ｆ_ｈは、ｆ_４と算出される。Ｍ＝３の時の倍音周波数ｆ_ｈは、ｆ_６と算出される。Ｍ＝４の時の倍音周波数ｆ_ｈは、ｆ_８と算出される。Ｍ＝５の時の倍音周波数ｆ_ｈは、ｆ_１０と算出される。Ｍ＝６の時の倍音周波数ｆ_ｈは、ｆ_１２と算出される。

【0039】

図５は、自然数Ｎ＝４の場合の算出例を示している。なお、周波数ｆ_３は、周波数ｆ_１の２倍である。周波数ｆ_５は、周波数ｆ_１の３倍である。周波数ｆ_６は、周波数ｆ_１の４倍である。周波数ｆ_７は、周波数ｆ_１の５倍である。周波数ｆ_９は、周波数ｆ_１の６倍である。周波数ｆ_１１は、周波数ｆ_１の７倍である。周波数ｆ_１２は、周波数ｆ_１の８倍である。候補周波数に関して、自然数Ｎ＝４の時の候補周波数ｆ_ｋは、ｆ_１と算出される。倍音周波数に関して、Ｍ＝１の時の倍音周波数ｆ_ｈは、ｆ_１と算出される。Ｍ＝２の時の倍音周波数ｆ_ｈは、ｆ_３と算出される。Ｍ＝３の時の倍音周波数ｆ_ｈは、ｆ_５と算出される。Ｍ＝４の時の倍音周波数ｆ_ｈは、ｆ_６と算出される。Ｍ＝５の時の倍音周波数ｆ_ｈは、ｆ_７と算出される。Ｍ＝６の時の倍音周波数ｆ_ｈは、ｆ_９と算出される。Ｍ＝７の時の倍音周波数ｆ_ｈは、ｆ_１１と算出される。Ｍ＝８の時の倍音周波数ｆ_ｈは、ｆ_１２と算出される。

【0040】

（妥当性の評価）
評価部１２０６は、算出した候補周波数と倍音周波数に基づき、候補周波数の妥当性を評価する。例えば、評価部１２０６は、候補周波数及び倍音周波数の各々における信号強度の総量により候補周波数の妥当性を評価する。具体的に、評価部１２０６は、妥当性を評価するための妥当性指標を算出する。妥当性指標は、候補周波数が抽出対象の基音周波数であることの妥当性を示す指標である。妥当性指標は、基音と倍音の信号強度の総量で、評価部１２０６は、候補周波数と倍音周波数のパワーに基づき、妥当性指標を算出する。例えば、評価部１２０６は、算出した候補周波数及び倍音周波数の各々におけるパワーの総和を候補周波数の妥当性指標として算出する。算出後、評価部１２０６は、算出した妥当性指標に基づき、候補周波数の妥当性を評価する。評価後、評価部１２０６は、評価結果を抽出部１２０８へ出力する。

【0041】

評価部１２０６は、第３の範囲（所定の範囲）における複数の自然数Ｎの各々において、候補周波数の妥当性指標を算出する。例えば、評価部１２０６は、図２～図５に示した自然数Ｎ＝１～４の各々において、妥当性指標を算出する。第３の範囲は、例えば、１≦Ｎ≦１０である。なお、第３の範囲は、かかる例に限定されない。

【0042】

ここで、図２～図５を参照して、妥当性指標の算出の一例について説明する。以下では、周波数ｆ_１～ｆ_１２におけるパワーは、それぞれＰ_１～Ｐ_１２であるものとする。Ｐ_１～Ｐ_１２は、ｆ_１～ｆ_１２の近傍周波数（例えば、ｆ_１～ｆ_１２の±２％以内の周波数）に存在するピーク周波数のパワーや近傍周波数のパワーの和として求められる。

【0043】

図２の場合、候補周波数はｆ_６、倍音周波数はｆ_１２である。よって、パワーの総和は、Ｐ_６とＰ_１２の和である。

【0044】

図３の場合、候補周波数はｆ_３、倍音周波数はｆ_６、ｆ_９、及びｆ_１２である。よって、パワーの総和は、Ｐ_３と、Ｐ_６と、Ｐ_９と、Ｐ_１２との和である。

【0045】

図４の場合、候補周波数はｆ_２、倍音周波数はｆ_４、ｆ_６、ｆ_８、ｆ_１０、及びｆ_１２である。よって、パワーの総和は、Ｐ_２と、Ｐ_４と、Ｐ_６と、Ｐ_８と、Ｐ_１０と、Ｐ_１２との和である。

【0046】

図５の場合、候補周波数はｆ_１、倍音周波数はｆ_３、ｆ_５、ｆ_６、ｆ_７、ｆ_９、ｆ_１１、及びｆ_１２である。よって、パワーの総和は、Ｐ_１と、Ｐ_３と、Ｐ_５と、Ｐ_６と、Ｐ_７と、Ｐ_９と、Ｐ_１１と、Ｐ_１２との和である。

【0047】

信号強度の総量は、パワーの単純和に限るものではない。評価部１２０６は、例えば、各パワーの対数の和を総量としてもよい。例えば、図３の例の場合、評価部１２０６は、Ｐ_３、Ｐ_６、Ｐ_９、及びＰ_１２の各々の対数の和を信号強度の総量とする。対数を用いることで、単純にパワーの和を総量とする場合と比較し、信号強度の総量における各パワーの重みの偏りを軽減することができる。また、評価部１２０６は、各パワーの積の対数を信号強度の総量としてもよい。例えば、図３の例の場合、評価部１２０６は、Ｐ_３、Ｐ_６、Ｐ_９、及びＰ_１２の各々の積の対数を信号強度の総量とする。また、評価部１２０６は、各パワーの平方根の和を信号強度の総量としてもよい。評価部１２０６は、基音と倍音、あるいは、倍音の次数によって重み付けを変えた加重和、非線形関数などを用いてもよい。

【0048】

なお、評価部１２０６は、第４の閾値（所定の閾値）以上のパワーの信号強度の総量により妥当性を評価してもよい。第４の閾値は、例えば、ノイズのパワーを除去できる程度の閾値である。図５の例の場合、ノイズのパワーは、周波数ｆ_１、ｆ_５、ｆ_７、及びｆ_１１におけるパワーＰ_１、Ｐ_５、Ｐ_７、及びＰ_１１である。この場合、各パワーよりも大きい値を第４の閾値とすることで、パワーＰ_１、Ｐ_５、Ｐ_７、及びＰ_１１のすべてのパワーを除去できる。これにより、評価部１２０６は、第４の閾値以下のパワーをノイズのパワーとして除去することができる。よって、評価部１２０６は、信号強度の総量の算出の精度を向上することができる。

【0049】

妥当性指標の算出後、評価部１２０６は、算出した妥当性指標に基づき、候補周波数から抽出対象の基音周波数を決定する。具体的に、評価部１２０６は、算出された妥当性指標の中で最大値を示す妥当性指標と対応する候補周波数を、抽出対象の基音周波数と決定する。例えば、図２～図５に示した例において、図３に示した自然数Ｎ＝２の場合の妥当性指標が最大値を示す場合、評価部１２０６は、候補周波数ｆ_ｋ＝ｆ_３を抽出対象の基音周波数と決定する。基音周波数の決定後、評価部１２０６は、決定した基音周波数を示す情報を含む評価結果を抽出部１２０８へ出力する。

【0050】

算出した妥当性指標の中に最大値を示す妥当性指標が複数存在する場合、評価部１２０６は、複数の妥当性指標の各々と対応する候補周波数の内、候補周波数の各々の算出に用いられた自然数Ｎが最も小さい候補周波数を、抽出対象の基音周波数と決定する。例えば、図５の自然数Ｎ＝４である例にて、ノイズのパワーが除去された場合、信号強度の総量は、Ｐ_３、Ｐ_６、Ｐ_９、及びＰ_１２に基づき算出される。これにより、自然数Ｎ＝４における信号強度の総量は、図３の自然数Ｎ＝２である例の信号強度の総量と同一となる。ここで、自然数Ｎ＝２とＮ＝４の各々の信号強度の総量が最大値である場合、評価部１２０６は、自然数Ｎ＝２における候補周波数を基音周波数と決定する。これにより、評価部１２０６は、最大値を示す妥当性指標が複数存在しても抽出対象の基音周波数を決定することができる。

【0051】

なお、評価部１２０６は、信号強度の総量を妥当性指標として算出することなく、候補周波数の妥当性を評価してもよい。例えば、評価部１２０６は、ＳＶＭ（Support Vector Machine）を用いて、候補周波数の妥当性を評価する。具体的に、評価部１２０６は、自然数Ｎの各々における候補周波数と倍音周波数の信号強度を、基音の周波数が既知の音を教師データとして事前に学習されたＳＶＭへ入力する。ＳＶＭの識別関数は、入力された信号強度より、各々の自然数Ｎにおける候補周波数が基音である場合は１を、基音でない場合は０を出力するように学習されるが、実際の出力は０から１を含む連続量である。評価部１２０６は、識別関数の出力を妥当性指標とし、妥当性指標が最大の候補周波数を抽出対象の基音周波数と決定する。

【0052】

（妥当性指標の補正）
妥当性指標の算出時、自然数Ｎが大きくなるにつれて、各ピーク周波数の中間の周波数におけるパワー（即ちノイズのパワー）も信号強度の総量に含まれ得る。そこで、妥当性指標の算出時、評価部１２０６は、自然数Ｎに応じて信号強度の総量にペナルティを与える。例えば、評価部１２０６は、自然数Ｎが大きくなるに従い、総量を小さくする補正を妥当性指標に対して行う。一例として、評価部１２０６は、補正係数を指数とする自然数Ｎのべき乗を補正値として算出し、算出した補正値を妥当性指標に乗じて妥当性指標を補正する。補正係数をｘとすると、補正値は、Ｎ^ｘと算出される。なお、補正係数ｘの値は、特に限定されない。例えば、補正係数ｘは、ノイズを考慮して決定される。

【0053】

妥当性指標の補正により、評価部１２０６は、ノイズを考慮した妥当性指標を算出することができる。よって、評価部１２０６は、妥当性指標の算出の精度を向上することができる。

【0054】

（２－４）抽出部１２０８
抽出部１２０８は、抽出対象から基音を抽出する機能を有する。基音を抽出するにあたり、抽出部１２０８は、評価部１２０６から入力される評価結果が示す基音周波数を抽出対象から抽出する。基音の抽出後、抽出部１２０８は、抽出した基音を後処理部１２１０へ出力する。

【0055】

（和音における基音周波数の抽出）
抽出部１２０８は、基音周波数の抽出を繰り返してもよい。これにより、抽出対象の楽器音が複数の楽器音で構成される和音である場合、抽出部１２０８は、各々の楽器音の基音周波数を抽出することができる。

【0056】

例えば、検出部１２０４が検出した第１のピーク周波数と対応する第１の基音周波数及び倍音周波数以外の周波数において、第２のピーク周波数が検出されたとする。この場合、抽出部１２０８は、検出された第２のピーク周波数と対応する第２の基音周波数を抽出する。なお、第１の基音周波数の抽出後、抽出部１２０８は、例えば、第１の基音周波数、及び第１の基音周波数の倍音周波数を周波数スペクトルから除外しておく。これにより、検出部１２０４は、第１のピーク周波数と対応する第１の基音周波数及び倍音周波数以外の周波数から第２のピーク周波数を検出することができる。

【0057】

ここで、図６を参照して、和音の抽出の一例について説明する。図６は、本実施形態に係る和音の抽出の一例を示す図である。図６の左図は、自然数Ｎ＝２の場合の第１の基音周波数の抽出の例を示す図である。図６の右図は、自然数Ｎ＝２の場合の第２の基音周波数の抽出の例を示す図である。なお、図６の左図と右図では、自然数Ｎ＝２の時の候補周波数ｆ_ｋが基音周波数ｆ_ｆであるとする。

【0058】

図６の左図では、第１のピーク周波数ｆ_ｐ１は、ｆ_６として検出されている。第１の候補周波数ｆ_ｋ１は、ｆ_３と算出されている。第１のピーク周波数ｆ_ｐ１と対応する第１の基音周波数ｆ_ｆ１は、ｆ_３と算出されている。第１のピーク周波数ｆ_ｐ１と対応する第１の倍音周波数ｆ_ｈ１は、ｆ_６、ｆ_９、及びｆ_１２と算出されている。抽出部１２０８は、図６の左図の周波数スペクトルから、第１の基音周波数ｆ_ｆ１であるｆ_３と、第１の倍音周波数ｆ_ｈ１であるｆ_６、ｆ_９、及びｆ_１２を除外する。そして、抽出部１２０８は、検出部１２０４に第２のピーク周波数ｆ_ｐ２の検出を行わせる。第２のピーク周波数ｆ_ｐ２が検出された場合、抽出部１２０８は、検出された第２のピーク周波数ｆ_ｐ２と対応する第２の基音周波数ｆ_ｆ２を抽出する。

【0059】

図６の右図では、第２のピーク周波数ｆ_ｐ２は、ｆ_１４として検出されている。第２の候補周波数ｆ_ｋ２は、ｆ_１３と算出されている。第２のピーク周波数ｆ_ｐ２と対応する第２の基音周波数ｆ_ｆ２は、ｆ_１３と算出されている。第２のピーク周波数ｆ_ｐ２と対応する第２の倍音周波数ｆ_ｈ２は、ｆ_１４、ｆ_１５、及びｆ_１６と算出されている。図６の右図では、自然数Ｎ＝２の時の候補周波数ｆ_ｋが基音周波数ｆ_ｆである。よって、抽出部１２０８は、第２の候補周波数ｆ_ｋ２＝ｆ_１３を、第２の基音周波数ｆ_ｆ２として抽出する。

【0060】

なお、第２のピーク周波数ｆ_ｐ２が検出されなかった場合、基音抽出装置１０は、基音の抽出処理を終了する。この場合、抽出対象の楽器音が単音であったことが分かる。また、基音抽出装置１０は、ピーク周波数が検出されなくなるまで、基音の抽出処理を繰り返す。これにより、基音抽出装置１０は、和音を構成する楽器音の数に関わらず、各楽器音の基音を抽出することができる。

【0061】

（２－５）後処理部１２１０
後処理部１２１０は、抽出された基音に基づく後処理を実行する機能を有する。後処理部１２１０は、抽出部１２０８から入力される基音に関する情報を出力部１３０に出力させる。例えば、後処理部１２１０は、抽出された基音に関する情報を示す画像情報又は音声情報の少なくとも一方を生成し、出力部１３０へ出力する。

【0062】

また、後処理部１２１０は、抽出された基音の音名やオクターブ等の推定を行ってもよい。具体的に、後処理部１２１０は、抽出された基音の周波数と平均律の音の周波数とを比較し、抽出された基音の音名やオクターブ等の推定を行う。平均律の音の周波数ｆ_ｅは、例えば、以下の式（１）により算出される。

【0063】

【数1】

【0064】

式（１）のｆ_ｒｅｆは、基準ピッチの周波数である。一般に、基準ピッチの周波数には、４４０Ｈｚや４４２Ｈｚが用いられる。後処理部１２１０は、式（１）を用いて、抽出された基音の基音周波数に最も近い平均律の音の周波数を算出する。そして、後処理部１２１０は、算出結果に基づき、基音の音名とオクターブを推定する。また、後処理部１２１０は、基音と平均律の音との周波数誤差をピッチズレとして算出してもよい。なお、後処理部１２１０は、基音の音名とオクターブの推定結果やピッチズレの算出結果を画像情報や音声情報に含めて出力部１３０へ出力してもよい。

【0065】

（３）出力部１３０
出力部１３０は、制御部１２０から入力される出力情報を出力する機能を有する。出力部１３０は、例えば、ディスプレイ等の表示装置やスピーカ等の音声出力装置により実現される。表示装置により実現される場合、出力部１３０は、例えば、出力情報を画像情報として表示装置に表示する。音声出力装置により実現される場合、出力部１３０は、例えば、出力情報を音声情報として音声出力装置から出力する。

【0066】

＜３．基音抽出装置における処理の流れ＞
以上、本実施形態に係る基音抽出装置１０の機能構成の一例について説明した。続いて、図７を参照して、本実施形態に基音抽出装置１０における処理の流れの一例について説明する。図７は、本実施形態に係る基音抽出装置１０における処理の流れの一例を示すフローチャートである。

【0067】

図７に示すように、まず、基音抽出装置１０の入力部１１０は、抽出対象を取得する（Ｓ１０２）。取得後、入力部１１０は、取得した抽出対象を制御部１２０へ出力する。

【0068】

次いで、制御部１２０の変換部１２０２は、入力された抽出対象に対して、ＦＦＴ処理を実行する（Ｓ１０４）。実行後、変換部１２０２は、ＦＦＴ処理により取得した周波数スペクトルを検出部１２０４へ出力する。

【0069】

次いで、検出部１２０４は、入力された周波数スペクトルからピーク周波数を検出する（Ｓ１０６）。検出後、検出部１２０４は、検出したピーク周波数を評価部１２０６へ出力する。

【0070】

次いで、評価部１２０６は、入力されたピーク周波数を１／Ｎ倍して候補周波数を算出する（Ｓ１０８）。次いで、評価部１２０６は、算出した候補周波数をＭ倍して倍音周波数を算出する（Ｓ１１０）。そして、評価部１２０６は、算出した候補周波数と倍音周波数のパワーに基づき、妥当性を評価する（Ｓ１１２）。評価後、評価部１２０６は、評価結果を抽出部１２０８へ出力する。

【0071】

次いで、抽出部１２０８は、入力された評価結果に基づき基音周波数を抽出する（Ｓ１１４）。抽出後、検出部１２０４は、抽出した基音周波数とその倍音周波数以外の周波数において、ピーク周波数を検出できるか否かを判定する（Ｓ１１６）。

【0072】

ピーク周波数を検出できた場合（Ｓ１１６／ＹＥＳ）、制御部１２０は、Ｓ１０８からＳ１１４の処理を繰り返す。一方、ピーク周波数を検出できなかった場合、制御部１２０は、後処理を実行する（Ｓ１１８）。後処理の実行後、基音抽出装置１０は、処理を終了する。

【0073】

ここで、図２～図５に示した例を用いて、Ｓ１０６～Ｓ１１４の処理の流れについてより具体的に説明する。Ｓ１０６～Ｓ１１２の処理は、自然数Ｎごとに行われる処理である。自然数Ｎの値は、その初期値を１とし、Ｓ１１２の処理が終わるごとに１ずつインクリメントされる。自然数Ｎのインクリメントは、例えば、自然数Ｎの値が最大値となるまで繰り返される。そして、自然数Ｎの値が最大値におけるＳ１１２の処理が終了した時、処理は、Ｓ１１４の処理へ進む。

【0074】

なお、自然数Ｎの最大値は任意に決められる値であり、例えば、Ｎ＝１０となるまでインクリメントは繰り返すようにしてもよい。自然数Ｎの最大値は、例えば、入力される音の種類に応じて決めるようにしてもよい。入力される音の種類（人の声、楽器音等）に応じて、自然数Ｎの最大値を種々変更しながら、既知の基音を抽出できたか否かを実験することで、自然数Ｎの最大値を決めるようにしてもよい。例えば、楽器の場合は、Ｎ＝１０（最大値）にすると、基音を抽出できるケースがほとんどである。ただし、図２～図５の例では、自然数Ｎ＝４となるまでインクリメントを繰り返す例について説明する。

【0075】

Ｓ１１０の処理では、自然数Ｍが用いられる。自然数Ｍの値は、候補周波数ｆ_ｋの倍数である。例えば、候補周波数ｆ_ｋの１倍、即ち、候補周波数ｆ_ｋにおける自然数Ｍは、Ｍ＝１である。候補周波数ｆ_ｋを２倍した時の倍音周波数ｆ_ｈにおける自然数Ｍは、Ｍ＝２である。また、候補周波数ｆ_ｋを３倍した時の倍音周波数ｆ_ｈにおける自然数Ｍは、Ｍ＝３である。Ｓ１１０の処理において、倍音周波数ｆ_ｈは、自然数Ｍの最大値の値が示す数だけ算出される。例えば、自然数Ｍの最大値がＭ＝３である場合、倍音周波数は３つ算出される。なお、自然数Ｍの最大値は、第１の範囲内に存在する倍音周波数ｆ_ｈの数である。図２～図５の例では、自然数Ｍの最大値がそれぞれＭ＝２、４、６、８である例について説明する。

【0076】

まず、図２に示す自然数Ｎ＝１の時、検出部１２０４は、最大ピーク周波数であるｆ_６をピーク周波数ｆ_ｐとして検出する（Ｓ１０６）。次いで、評価部１２０６は、候補周波数ｆ_ｋ＝ｆ_ｐ／Ｎ＝ｆ_６と算出する（Ｓ１０８）。次いで、評価部１２０６は、候補周波数ｆ_ｋ＝ｆ_６における自然数ＭをＭ＝１として、倍音周波数ｆ_ｈを算出する（Ｓ１１０）。例えば、Ｍ＝２では、倍音周波数ｆ_ｈ＝Ｍｆ_ｋ＝ｆ_１２と算出される。なお、今回の例では、算出される周波数の最大値がｆ_１２であるため、自然数Ｎ＝１における倍音周波数ｆ_ｈの算出は、Ｍ＝２で終了する。

【0077】

なお、図２の例では、ｆ_６とｆ_１２は、それぞれ周波数スペクトルのピークに対応しているが、ｆ_６及びｆ_１２以外にもピークを示している周波数は存在する。特に、ｆ_３及びｆ_９の周波数のように、ピークが鋭い周波数も存在する。しかしながら、ｆ_３及びｆ_９の周波数は、自然数Ｍ＝１又はＭ＝２のいずれにも該当しないため、候補周波数ｆ_ｋ及び倍音周波数ｆ_ｈのいずれにも該当しない（抽出されていない）。そのため、ｆ_６及びｆ_１２以外の周波数（ｆ_３、ｆ_９）は、自然数Ｎ＝１における以降の処理では用いられない。倍音周波数ｆ_ｈの算出後、評価部１２０６は、算出した候補周波数ｆ_ｋと倍音周波数ｆ_ｈの各々におけるパワーに基づき、妥当性指標を算出する。例えば、評価部１２０６は、候補周波数ｆ_６におけるパワーＰ_６、及び倍音周波数ｆ_１２におけるパワーＰ_１２の各々の対数の和を妥当性指標として算出する。妥当性指標の算出後、自然数Ｎは、評価部１２０６によってＮ＝１からＮ＝２へインクリメントされる。

【0078】

続いて、図３に示す自然数Ｎ＝２の時、検出部１２０４は、最大ピーク周波数であるｆ_６をピーク周波数ｆ_ｐとして検出する（Ｓ１０６）。次いで、評価部１２０６は、候補周波数ｆ_ｋ＝ｆ_ｐ／Ｎ＝ｆ_３と算出する（Ｓ１０８）。次いで、評価部１２０６は、候補周波数ｆ_ｋ＝ｆ_３における自然数ＭをＭ＝１として、倍音周波数ｆ_ｈを算出する（Ｓ１１０）。例えば、Ｍ＝２では、倍音周波数ｆ_ｈ＝Ｍｆ_ｋ＝ｆ_６と算出される。また、Ｍ＝３では、倍音周波数ｆ_ｈ＝Ｍｆ_ｋ＝ｆ_９と算出される。また、Ｍ＝４では、倍音周波数ｆ_ｈ＝Ｍｆ_ｋ＝ｆ_１２と算出される。なお、今回の例では、算出される周波数の最大値がｆ_１２であるため、自然数Ｎ＝２における倍音周波数ｆ_ｈの算出は、Ｍ＝４で終了する。

【0079】

なお、図３の例では、ｆ_３、ｆ_６、ｆ_９、及びｆ_１２は、それぞれ周波数スペクトルのピークに対応している。そのため、ｆ_３、ｆ_６、ｆ_９、及びｆ_１２の周波数については、自然数Ｎ＝２における以降の処理では用いられる。倍音周波数ｆ_ｈの算出後、評価部１２０６は、算出した候補周波数ｆ_ｋと倍音周波数ｆ_ｈの各々におけるパワーに基づき、妥当性指標を算出する。例えば、評価部１２０６は、候補周波数ｆ_３におけるパワーＰ_３の対数を算出する。また、評価部１２０６は、倍音周波数ｆ_６、ｆ_９、及びｆ_１２の各々におけるパワーＰ_６、Ｐ_９、及びＰ_１２の対数を算出する。そして、評価部１２０６は、算出した対数の和を妥当性指標として算出する。妥当性指標の算出後、自然数Ｎは、評価部１２０６によってＮ＝２からＮ＝３へインクリメントされる。

【0080】

続いて、図４に示す自然数Ｎ＝３の時、検出部１２０４は、最大ピーク周波数であるｆ_６をピーク周波数ｆ_ｐとして検出する（Ｓ１０６）。次いで、評価部１２０６は、候補周波数ｆ_ｋ＝ｆ_ｐ／Ｎ＝ｆ_２と算出する（Ｓ１０８）。次いで、評価部１２０６は、候補周波数ｆ_ｋ＝ｆ_２における自然数ＭをＭ＝１として、倍音周波数ｆ_ｈを算出する（Ｓ１１０）。例えば、Ｍ＝２では、倍音周波数ｆ_ｈ＝Ｍｆ_ｋ＝ｆ_４と算出される。また、Ｍ＝３では、倍音周波数ｆ_ｈ＝Ｍｆ_ｋ＝ｆ_６と算出される。また、Ｍ＝４では、倍音周波数ｆ_ｈ＝Ｍｆ_ｋ＝ｆ_８と算出される。また、Ｍ＝５では、倍音周波数ｆ_ｈ＝Ｍｆ_ｋ＝ｆ_１０と算出される。また、Ｍ＝６では、倍音周波数ｆ_ｈ＝Ｍｆ_ｋ＝ｆ_１２と算出される。なお、今回の例では、算出される周波数の最大値がｆ_１２であるため、自然数Ｎ＝３における倍音周波数ｆ_ｈの算出は、Ｍ＝６で終了する。

【0081】

なお、図４の例では、ｆ_２、ｆ_４、ｆ_６、ｆ_８、ｆ_１０、及びｆ_１２は、それぞれ候補周波数ｆ_ｋ又は倍音周波数ｆ_ｈとして得られるものの、ｆ_６とｆ_１２はピークに対応しているが、ｆ_２、ｆ_４、ｆ_８、及びｆ_１０はピークに対応していない。また、ｆ_３及びｆ_９の周波数のように、ピークが鋭い周波数も存在する。しかしながら、ｆ_３及びｆ_９の周波数は、自然数Ｍ＝１～６のいずれにも該当しないため、候補周波数ｆ_ｋ及び倍音周波数ｆ_ｈのいずれにも該当しない（抽出されていない）。ｆ_２、ｆ_４、ｆ_６、ｆ_８、ｆ_１０、及びｆ_１２以外の周波数は、自然数Ｎ＝３における以降の処理では用いられない。倍音周波数ｆ_ｈの算出後、評価部１２０６は、算出した候補周波数ｆ_ｋと倍音周波数ｆ_ｈの各々におけるパワーに基づき、妥当性指標を算出する。例えば、評価部１２０６は、候補周波数ｆ_２におけるパワーＰ_２の対数を算出する。また、評価部１２０６は、倍音周波数ｆ_４、ｆ_６、ｆ_８、ｆ_１０、及びｆ_１２の各々におけるパワーＰ_４、Ｐ_６、Ｐ_８、Ｐ_１０、及びＰ_１２の対数を算出する。そして、評価部１２０６は、算出した対数の和を妥当性指標として算出する。妥当性指標の算出後、自然数Ｎは、評価部１２０６によってＮ＝３からＮ＝４へインクリメントされる。

【0082】

続いて、図５に示す自然数Ｎ＝４の時、検出部１２０４は、最大ピーク周波数であるｆ_６をピーク周波数ｆ_ｐとして検出する（Ｓ１０６）。次いで、評価部１２０６は、候補周波数ｆ_ｋ＝ｆ_ｐ／Ｎ＝ｆ_１と算出する（Ｓ１０８）。次いで、評価部１２０６は、候補周波数ｆ_ｋ＝ｆ_１における自然数ＭをＭ＝１として、倍音周波数ｆ_ｈを算出する（Ｓ１１０）。例えば、Ｍ＝２では、倍音周波数ｆ_ｈ＝Ｍｆ_ｋ＝ｆ_３と算出される。また、Ｍ＝３では、倍音周波数ｆ_ｈ＝Ｍｆ_ｋ＝ｆ_５と算出される。また、Ｍ＝４では、倍音周波数ｆ_ｈ＝Ｍｆ_ｋ＝ｆ_６と算出される。また、Ｍ＝５では、倍音周波数ｆ_ｈ＝Ｍｆ_ｋ＝ｆ_７と算出される。また、Ｍ＝６では、倍音周波数ｆ_ｈ＝Ｍｆ_ｋ＝ｆ_９と算出される。また、Ｍ＝７では、倍音周波数ｆ_ｈ＝Ｍｆ_ｋ＝ｆ_１１と算出される。また、Ｍ＝８では、倍音周波数ｆ_ｈ＝Ｍｆ_ｋ＝ｆ_１２と算出される。なお、今回の例では、算出される周波数の最大値がｆ_１２であるため、自然数Ｎ＝４における倍音周波数ｆ_ｈの算出は、Ｍ＝８で終了する。

【0083】

なお、図５の例では、ｆ_１、ｆ_３、ｆ_５、ｆ_６、ｆ_７、ｆ_９、ｆ_１１、及びｆ_１２は、それぞれ候補周波数ｆ_ｋ又は倍音周波数ｆ_ｈとして得られるものの、ｆ_３、ｆ_６、ｆ_９、及びｆ_１２はピークに対応しているが、ｆ_１、ｆ_５、ｆ_７、及びｆ_１１はピークに対応していない。ｆ_１、ｆ_３、ｆ_５、ｆ_６、ｆ_７、ｆ_９、ｆ_１１、及びｆ_１２以外の周波数は、自然数Ｎ＝４における以降の処理では用いられない。倍音周波数ｆ_ｈの算出後、評価部１２０６は、算出した候補周波数ｆ_ｋと倍音周波数ｆ_ｈの各々におけるパワーに基づき、妥当性指標を算出する。例えば、評価部１２０６は、候補周波数ｆ_１におけるパワーＰ_１の対数を算出する。また、評価部１２０６は、倍音周波数ｆ_３、ｆ_５、ｆ_６、ｆ_７、ｆ_９、ｆ_１１、及びｆ_１２の各々におけるパワーＰ_３、Ｐ_５、Ｐ_６、Ｐ_７、Ｐ_９、Ｐ_１１、及びＰ_１２の対数を算出する。そして、評価部１２０６は、算出した対数の和を妥当性指標として算出する。自然数Ｎの値が最大値（Ｎ＝４）であるため、妥当性指標の算出後、処理はＳ１１４の処理へ進む。

【0084】

各々の自然数Ｎにおける妥当性指標の算出後、評価部１２０６は、算出した妥当性指標に基づき、候補周波数の妥当性を評価する（Ｓ１１２）。抽出部１２０８は、評価部１２０６による評価結果に基づき、基音周波数を抽出する（Ｓ１１４）。例えば、抽出部１２０８は、自然数Ｎ＝１～４の各々で算出された妥当性周波数を比較する。なお、図３の自然数Ｎ＝２の場合の妥当性指標は、妥当性指標の補正処理により図５の自然数Ｎ＝４の場合の妥当性指標よりも大きくなる。

【0085】

妥当性指標の補正処理を行なわない場合、第３の閾値としてノイズのパワーよりも大きい値を設定することにより、パワーの総和からノイズのパワーが除外される。例えば、図４の例の場合、パワーＰ_２、Ｐ_４、Ｐ_８、及びＰ_１０がパワーの総和から除外される。図５の例の場合、パワーＰ_１、Ｐ_５、Ｐ_７、及びＰ_１１がパワーの総和から除外される。結果として、図３の自然数Ｎ＝２における妥当性指標と図５の自然数Ｎ＝４における妥当性指標が最大値となる。本実施形態では、最大値を示す妥当性指標が複数存在する場合、抽出部１２０８は、自然数Ｎが最も小さい候補周波数ｆ_ｋを抽出対象の基音周波数ｆ_ｆと決定する。

【0086】

よって、図２～図５に示す例では、抽出部１２０８は、自然数Ｎ＝２（２倍音）における候補周波数ｆ_ｋ＝ｆ_６を抽出対象の基音周波数ｆ_ｆとして抽出する。

【0087】

以上説明したように、本実施形態に係る基音抽出装置１０は、基音の抽出対象の周波数スペクトルにおいて、ピーク周波数を少なくとも１つ検出する。また、基音抽出装置１０は、検出したピーク周波数に基づき、基音周波数の候補周波数とその倍音周波数とを算出し、算出した候補周波数の妥当性指標を算出する。そして、基音抽出装置１０は、算出した妥当性指標に基づき、候補周波数から抽出対象の基音周波数を決定する。

【0088】

これにより、基音抽出装置１０は、１つのピーク周波数しか検出されなかった場合でも、検出した１つのピーク周波数に基づき、基音を抽出することができる。また、基音抽出装置１０は、周波数スペクトルから基音を直接検出することが困難な場合でも、１つのピーク周波数に基づき、基音を抽出することができる。また、基音抽出装置１０は、周波数スペクトルに基音が存在しない場合でも、１つのピーク周波数に基づき、基音を抽出することができる。また、基音抽出装置１０は、１つのピーク周波数に基づき、ノイズ等の影響を受けずに基音を抽出することができる。よって、基音抽出装置１０は、基音抽出の精度を向上することができる。

【0089】

以上、本発明の実施形態について説明した。なお、上述した実施形態における基音抽出装置１０をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ（Field Programmable Gate Array）等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。

【0090】

以上、図面を参照してこの発明の実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。

【符号の説明】

【0091】

１０ 基音抽出装置
１１０ 入力部
１２０ 制御部
１３０ 出力部
１２０２ 変換部
１２０４ 検出部
１２０６ 評価部
１２０８ 抽出部
１２１０ 後処理部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】