特許 7457111 ビート音発生タイミング生成装置、ビート音発生タイミング生成方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-03-18

(45)【発行日】2024-03-27

(54)【発明の名称】ビート音発生タイミング生成装置、ビート音発生タイミング生成方法、及びプログラム

(51)【国際特許分類】

   G10G 3/04 20060101AFI20240319BHJP

【ＦＩ】

G10G3/04

【請求項の数】 9

(21)【出願番号】P 2022524798

(86)(22)【出願日】2020-05-21

(86)【国際出願番号】 JP2020020101

(87)【国際公開番号】W WO2021234902

(87)【国際公開日】2021-11-25

【審査請求日】2022-08-15

(73)【特許権者】

【識別番号】000116068

【氏名又は名称】ローランド株式会社

(74)【代理人】

【識別番号】110002860

【氏名又は名称】弁理士法人秀和特許事務所

(72)【発明者】

【氏名】日下部 智

(72)【発明者】

【氏名】村井 崇浩

(72)【発明者】

【氏名】小松 純二郎

【審査官】菊池 智紀

(56)【参考文献】

【文献】国際公開第２０１９／２２４９９０（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０１０／０２８２０４５（ＵＳ，Ａ１）

【文献】特開２００７－０３３８５１（ＪＰ，Ａ）

【文献】特開２０１１－１４１５５５（ＪＰ，Ａ）

【文献】特開２０１５－２００８０３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ１０Ｇ １／００－７／０２

Ｇ１０Ｈ １／００－７／１２

Ｇ１０Ｌ ２５／００－２５／９３

(57)【特許請求の範囲】

【請求項1】

入力された楽曲のデータから、夫々が前記楽曲のビートを司るタイミングと、前記タイミングにおけるパワーとを示す複数の強度データであって、所定の時間区間における複数の強度データを生成する生成部と、
前記時間区間毎に、前記複数の強度データを用いて前記楽曲のビートの周期及び位相を算出する算出部と、
前記楽曲のビートの周期及び位相に基づいて、ビート音の発生タイミングを検出する検出部と、
前記時間区間毎の前記ビートの周期及び位相の算出に用いるＢＰＭ（Beats Per Minute）の数値範囲として、広い範囲と、前記広い範囲より狭く、前記広い範囲内に収まる、又は一部重複する狭い範囲との一方を設定する制御部とを含み、
前記狭い範囲が、
（１）前記広い範囲内で、予め決められた範囲、
（２）前記ＢＰＭの数値範囲が前記広い範囲から前記狭い範囲に変更されたときのＢＰＭ値を中心とした所定の範囲、又は
（３）前記ＢＰＭの数値範囲が前記広い範囲から前記狭い範囲に変更されたとき以降の前記ビートの周期及び位相の算出に用いられるＢＰＭ値を中心とした所定の範囲
であるビート音発生タイミング生成装置。

【請求項2】

前記算出部は、前記狭い範囲を選択する設定が維持されている間、前記時間区間毎の前記ビートの周期及び位相の算出を、前記狭い範囲を用いて行う
請求項１に記載のビート音発生タイミング生成装置。

【請求項3】

前記制御部は、前記ＢＰＭの範囲を切り替えるボタンが長押しされている間、前記ＢＰＭの範囲を前記広い範囲に設定し、前記ボタンの長押しが解除された場合に、前記ＢＰＭの範囲を前記狭い範囲に変更する
請求項１又は２に記載のビート音発生タイミング生成装置。

【請求項4】

前記算出部は、前記複数の強度データが示す前記タイミングに基づいて前記複数の強度データについてのＢＰＭを定め、前記ＢＰＭの一周期を前記ビートの周期として算出するともに、前記ＢＰＭを示す正弦波における前記ビート音の発生タイミングの相対位置を前
記ビートの位相として算出し、
前記検出部は、前記ビートの周期及び前記ビートの位相を示すカウント値を求め、サンプリングレートの１サンプル毎にインクリメントを行うカウンタを用いて前記カウント値の計時を行い、前記カウンタの値が前記カウント値に達したタイミングを前記ビート音の発生タイミングとして検出する
請求項１から３のいずれか一項に記載のビート音発生タイミング生成装置。

【請求項5】

前記算出部は、前記複数の強度データの夫々と複数個のＢＰＭの夫々について行うフーリエ変換によって得られたフーリエ変換データの値が最大となるときのＢＰＭの一周期を前記ビートの周期として算出する
請求項４に記載のビート音発生タイミング生成装置。

【請求項6】

情報処理装置が、入力された楽曲のデータから、夫々が前記楽曲のビートを司るタイミングと、前記タイミングにおけるパワーとを示す複数の強度データであって、所定の時間区間における複数の強度データを生成することと、
前記情報処理装置が、前記時間区間毎に、前記複数の強度データを用いて前記楽曲のビートの周期及び位相を算出することと、
前記情報処理装置が、前記楽曲のビートの周期及び位相に基づいて、ビート音の発生タイミングを検出することと、
前記情報処理装置が、前記時間区間毎の前記ビートの周期及び位相の算出に用いるＢＰＭ（Beats Per Minute）の数値範囲として、広い範囲と、前記広い範囲より狭い範囲との一方を設定することと
を含み、
前記狭い範囲が、
（１）前記広い範囲内で、予め決められた範囲、
（２）前記ＢＰＭの数値範囲が前記広い範囲から前記狭い範囲に変更されたときのＢＰＭ値を中心とした所定の範囲、又は
（３）前記ＢＰＭの数値範囲が前記広い範囲から前記狭い範囲に変更されたとき以降の前記ビートの周期及び位相の算出に用いられるＢＰＭ値を中心とした所定の範囲
である
ビート音発生タイミング生成方法。

【請求項7】

前記情報処理装置は、前記狭い範囲を選択する設定が維持されている間、前記時間区間毎の前記ビートの周期及び位相の算出を、前記狭い範囲を用いて行う
請求項６に記載のビート音発生タイミング生成方法。

【請求項8】

前記情報処理装置は、前記ＢＰＭの範囲を切り替えるボタンが長押しされている間、前記ＢＰＭの範囲を前記広い範囲に設定し、前記ボタンの長押しが解除された場合に、前記ＢＰＭの範囲を前記狭い範囲に変更する
請求項６又は７に記載のビート音発生タイミング生成方法。

【請求項9】

入力された楽曲のデータから、夫々が前記楽曲のビートを司るタイミングと、前記タイミングにおけるパワーとを示す複数の強度データであって、所定の時間区間における複数の強度データを生成する処理と、
前記時間区間毎に、前記複数の強度データを用いて前記楽曲のビートの周期及び位相を算出する処理と、
前記楽曲のビートの周期及び位相に基づいて、ビート音の発生タイミングを検出する処理と、
前記時間区間毎の前記ビートの周期及び位相の算出に用いるＢＰＭ（Beats Per Minute）の数値範囲として、広い範囲と、前記広い範囲より狭い範囲との一方を設定する処理と
をコンピュータに実行させるプログラムであって、
前記狭い範囲が、
（１）前記広い範囲内で、予め決められた範囲、
（２）前記ＢＰＭの数値範囲が前記広い範囲から前記狭い範囲に変更されたときのＢＰＭ値を中心とした所定の範囲、又は
（３）前記ＢＰＭの数値範囲が前記広い範囲から前記狭い範囲に変更されたとき以降の前記ビートの周期及び位相の算出に用いられるＢＰＭ値を中心とした所定の範囲
であるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、ビート音発生タイミング生成装置、ビート音発生タイミング生成方法、及びプログラムに関する。

【背景技術】

【0002】

従来、楽曲の信号から、ビート音の発生タイミングを生成する技術がある（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】国際公開第２０１９／２２４９０号

【発明の概要】

【発明が解決しようとする課題】

【0004】

楽曲には、音楽的にテンポがほぼ一定であるにも関わらず、幾つかの内在的なビートが同時に存在している場合が少なくない。例えば、楽曲を楽譜上の四分音符に合わせて刻むこともできれば、二拍三連に合わせて刻むこともできる場合がある。従来技術では、楽曲の進行において、ある時間区間では四分音符に合わせたビートを検出し、ある時間区間では二拍三連に合わせたビートを検出するといった、不安定なビート音の発生タイミングを生成することがあった。

【0005】

本開示は、ビート音の発生タイミングを安定させることのできるビート音発生タイミング生成装置、ビート音発生タイミング生成方法、及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

本開示の一側面は、入力された楽曲のデータから、夫々が前記楽曲のビートを司るタイミングと、前記タイミングにおけるパワーとを示す複数の強度データであって、所定の時間区間における複数の強度データを生成する生成部と、
前記時間区間毎に、前記複数の強度データを用いて前記楽曲のビートの周期及び位相を算出する算出部と、
前記楽曲のビートの周期及び位相に基づいて、ビート音の発生タイミングを検出する検出部と、
前記時間区間毎の前記ビートの周期及び位相の算出に用いるＢＰＭ（Beats Per Minute）の範囲として、広い範囲と、前記広い範囲より狭い範囲との一方を設定する制御部と
を含むビート音発生タイミング生成装置である。

【0007】

本開示の一態様は、上記したビート音発生タイミング生成装置と同様の特徴を有する、ビート音発生タイミング生成方法、プログラム、プログラムを記録した記録媒体などであってもよい。

【図面の簡単な説明】

【0008】

【図1】図１は、ビート音出力タイミング発生装置の構成例を示す。

【図2】図２は、制御部の構成例を示す。

【図3】図３は、生成部の処理例を示すフローチャートである。

【図4】図４Ａは、生成部に入力される１２秒分の楽曲のディジタル信号（楽曲信号ともいう）の例を示し、図４Ｂは、図４Ａの楽曲信号から生成されたＳｐｘデータの例を示す。

【図5】図５は、算出部の処理例を示すフローチャートである。

【図6】図６は、Ｓｐｘデータとフーリエ変換に用いるＢＰＭの正弦波の例を示す図である。

【図7】図７は、ＢＰＭを示す余弦波とビートの発生タイミングとの関係を図示する。

【図8】図８は、検出部１０４によるビート発生タイミングの検出処理の例を示すフローチャートである。

【図9】図９Ａは、楽曲の信号から検出したビート位置（ビート音の発生タイミング）を縦線で示した図である。図９Ｂは、図９Ａに示した例に該当するＢＰＭ値の時間経過を示す。

【図10】図１０は、楽曲のある瞬間におけるスペクトル強度データを示す。

【図11】図１１は、ＢＰＭの範囲を設定する第１の方法を示す処理例を示すフローチャートである。

【図12】図１２は、ボタンの状態を説明する表である。

【図13】図１３は、ＢＰＭの範囲を設定する第２の方法を示す処理例を示すフローチャートである。

【図14】図１４は、ＢＰＭの範囲を設定する第３の方法を示す処理例を示すフローチャートである。

【図15】図１５は、ＢＰＭの範囲を設定する第３の方法を示す処理例を示すフローチャートである。

【図16】図１６は、図９Ａで示した楽曲の信号に関して、第２及び第３の方法を実施した場合に検出されるビートを縦線で表したものである。

【発明を実施するための形態】

【0009】

演奏又は再生される楽曲に合わせて対してビートを刻む場合、そのビートには多様性がある。多様性とは、「音楽的に良好なビートの刻み方」は、必ずしも一通りではないということである。通常、楽曲には、音楽的にテンポがほぼ一定であるにも関わらず、いくつかの内在的なビートが存在する。「良好なビート」は、楽譜上の四分音符に合わせて刻まれるビートであるかも知れない。或いは、二拍三連に合わせて刻まれるビートであるかもしれない。

【0010】

従来技術におけるビート検出（ビート音の発生タイミング生成）のアルゴリズムは、しばしばこれらのビートを時間的に混在して検出し、ビートに合わせた音（ハンドクラップ音など）を出力する。すなわち、或る時間区間では四分音符に合わせて音が出力され、別の時間区間では二拍三連に合わせて音が出力される。ビートをＢＭＰ値で表したとき、これらは時間区間毎の不連続な値として現れる。

【0011】

図９Ａは、楽曲の信号から検出したビート位置（ビート音の発生タイミング）を縦線で示した図である。図９Ａに示す例では、楽曲の進行の途中でビート音の発生タイミングの周期が断続的に変化している。図９Ｂは、図９Ａに示した例に該当するＢＰＭ値の時間経過を示す。このような、ビート音の発生タイミングの周期が断続的に変化する現象は、各瞬間に楽曲の進行が変化しているために起こる訳ではない。すなわち、楽曲において常に二つのビート（例えば、四分音符と二拍三連）が内在的に共存している状態において、アルゴリズムがある瞬間は一方のビートを選択し、またある瞬間は他方のビートを選択してしまうことから起こる。もっとも、ビートの多様性からいずれか一方のビートが正しく、他方が誤っているとは判断できない。

【0012】

内在的に複数存在するビートを選択する際に考慮されるスペクトル強度データは、図１０に示すように、幾つかのピークを有し、ピークの夫々は、内在的なビートの存在をあらわしている。従来技術では、複数のピーク中の最大のピークを各瞬間のビートとして選択する。このため、結果的に断続的にＢＰＭが変化することになる。

【0013】

このような、断続的なＢＰＭの変化に従ったビート音の発生タイミングに従って音を発することは、好適でない場合がある。例えば、或る瞬間で四分音符に従ったビートを検出している場合には、恒常的に四分音符でビートを検出し続けるのが好ましい。実施形態に係るビート音発生タイミング生成装置（ビート検出装置）は、上記のような、不安定なビート音の発生タイミングが生成される問題を解決するためになされたものである。

【0014】

実施形態に係るビート音発生タイミング生成装置は、以下の構成を有する。
（１）入力された楽曲のデータから、夫々が楽曲のビートを司るタイミングと、タイミングにおけるパワーとを示す複数の強度データであって、所定の時間区間における複数の強度データを生成する生成部。
（２）時間区間毎に、複数の強度データを用いて楽曲のビートの周期及び位相を算出する算出部。
（３）楽曲のビートの周期及び位相に基づいて、ビート音の発生タイミングを検出する検出部。
（４）時間区間毎のビートの周期及び位相の算出に用いるＢＰＭ（Beats Per Minute）の範囲として、広い範囲と、前記広い範囲より狭い範囲との一方を設定する制御部。

【0015】

ビート音発生タイミング生成装置において、以下の構成を採用してもよい。すなわち、 狭い範囲のＢＰＭの範囲が、現在の時間区間においてビートの周期及び位相の算出に用いられるＢＰＭ値を中心とした所定の数値範囲である。このようにすれば、現在の時間区間におけるＢＰＭ値を中心としたＢＰＭの範囲で、ビートの周期及び位相を算出することができ、所望のビートを安定的に検出可能となる。

【0016】

ビート音発生タイミング生成装置において、以下の構成を採用してもよい。すなわち、算出部は、狭い範囲を選択する設定が維持されている間、時間区間毎のビートの周期及び位相の算出を、狭い範囲を用いて行う。このようにすれば、楽曲のビートの変化に応じてＢＰＭの範囲を追従させることができる。

【0017】

ビート音発生タイミング生成装置において、以下の構成を採用してもよい。すなわち、 制御部は、ＢＰＭの範囲を切り替えるボタンが長押しされている間、ＢＰＭの範囲を広い範囲に設定し、ボタンの長押しが解除された場合に、ＢＰＭの範囲を狭い範囲に変更する。このようにすれば、一つのボタンを用いて広い範囲と狭い範囲との切替を行うことができる。

【0018】

ビート音発生タイミング生成装置において、以下の構成を採用してもよい。すなわち、 算出部は、複数の強度データが示すタイミングに基づいて複数の強度データについてのＢＰＭを定め、ＢＰＭの一周期をビートの周期として算出するともに、ＢＰＭを示す正弦波におけるビート音の発生タイミングの相対位置をビートの位相として算出する。検出部は、ビートの周期及びビートの位相を示すカウント値を求め、サンプリングレートの１サンプル毎にインクリメントを行うカウンタを用いてカウント値の計時を行い、カウンタの値がカウント値に達したタイミングをビート音の発生タイミングとして検出する。

【0019】

ビート音発生タイミング生成装置において、以下の構成を採用してもよい。すなわち、算出部は、複数の強度データの夫々と複数個のＢＰＭの夫々について行うフーリエ変換によって得られたフーリエ変換データの値が最大となるときのＢＰＭの一周期をビートの周期として算出する。

【0020】

〔実施形態〕
以下、図面を参照して、実施形態に係るビート音発生タイミング生成装置、ビート音発生タイミング生成方法、及びプログラムについて説明する。実施形態の構成は例示である。実施形態の構成に限定されない。

【0021】

図１は、ビート音発生タイミング生成装置の構成例を示す。ビート音発生タイミング生成装置は、単独の装置として構成される場合もあれば、カラオケ機器、或いは電子楽器に組み込まれる場合もある。図１において、ビート音発生タイミング生成装置１は、バス３に接続された、ＣＰＵ１０と、ＲＯＭ（Read Only Memory）１１と、ＲＡＭ（Random Access Memory）１２と、ハードディスクドライブ（ＨＤＤ）１３と、入力装置１４と、表示装置１５と、通信インタフェース（通信Ｉ／Ｆ）１６とを含む。ビート音発生タイミング生成装置１は、さらに、バス３に接続された、ディジタルアナログ変換器（Ｄ／Ａ）１７と、アナログディジタル変換器（Ａ／Ｄ）２０とを含む。Ｄ／Ａ１７にはアンプ（ＡＭＰ）１８が接続され、ＡＭＰ１８にはスピーカ１９が接続されている。Ａ／Ｄ２０には、マイクロフォン（ＭＩＣ）２１が接続されている。

【0022】

ＲＯＭ１１は、ＣＰＵ１０によって実行される様々なプログラムやプログラムの実行に際して使用されるデータを記憶している。ＲＡＭ１２は、プログラムの展開領域、ＣＰＵ１０の作業領域、データの記憶領域などとして使用される。ＨＤＤ１３は、プログラムやプログラムの実行に際して使用されるデータ、楽曲データなどを記憶する。楽曲データは、例えばＭＰ３やＷＡＶＥ形式などの所定の音声ファイルのフォーマットを有する音データである。音声ファイルのフォーマット形式は、ＭＰ３やＷＡＶＥ形式以外でもよい。ＲＯＭ１１及びＲＡＭ１２は、主記憶装置の一例であり、ＨＤＤ１３は補助記憶装置の一例である。主記憶装置及び補助記憶装置は、記憶装置又は記憶媒体の一例である。

【0023】

入力装置１４は、キー、ボタン、タッチパネル、つまみ、スイッチなどであり、情報（指示や命令を含む）の入力、或いは楽音の生成や再生に関するパラメータの設定に使用される。表示装置１５は、情報の表示に使用される。通信Ｉ／Ｆ１６は、ネットワーク２に接続されており、通信に係る処理を司る。ＣＰＵ１０は、例えば入力装置１４から入力された指示に応じて、ネットワーク２から所望の楽曲データ（楽曲信号）をダウンロードし、ＨＤＤ１３に記憶することができる。

【0024】

ＣＰＵ１０は、プログラムの実行によって、様々な処理を行う。処理は、上記した楽曲ダウンロードに係る処理の他、楽曲の再生に係る処理、楽曲のビート音発生タイミングを生成する処理、ビート音発生タイミングに合わせてビート音（例えば、クラップ音、特にハンドクラップ音など）を出力する処理などを含む。

【0025】

例えば、ＣＰＵ１０は、楽曲データを再生する場合、プログラムの実行によって、ＨＤＤ１３からＲＡＭ１２に読み出した楽曲データから楽曲の音を表すディジタルデータ（ディジタル信号）を生成し、Ｄ／Ａ１７に供給する。Ｄ／Ａ１７は、音を表すディジタルデータをディジタルアナログ変換によってアナログ信号に変換し、ＡＭＰ１８に出力する。ＡＭＰ１８によって振幅が調整されたアナログ信号はスピーカ１９から出力される。

【0026】

ＭＩＣ２１は、例えば、スピーカ１９から出力される楽曲の音を伴奏（カラオケ）とする歌唱音などを集音する。ＭＩＣ２１で集音されたアナログの音声信号は、ＡＭＰ１８で振幅を増幅され、スピーカ１９から増幅される。このとき、歌唱音は楽曲音とミキシングされても、それぞれ別個のスピーカから出力されてもよい。

【0027】

また、ＭＩＣ２１は、楽器を用いた演奏（いわゆる生演奏）による音声や外部機器からの楽曲の再生音声を集音して音を拡大（スピーカ１９から出力）したり、録音したりする場合にも使用される。例えば、ＭＩＣ２１で集音された演奏音の信号は、Ａ／Ｄ２０によってディジタル信号に変換され、ＣＰＵ１０に渡される。ＣＰＵ１０は、演奏音の信号を音声ファイルのフォーマットに従った形式に変換して音声ファイルを生成し、ＨＤＤ１３に記憶する。ＭＩＣ２１で集音される楽曲の音信号について、ビート音発生タイミングの生成処理が行われてもよい。

【0028】

なお、ビート音発生タイミング生成装置１がコンパクトディスク（ＣＤ）などのディスク型記録媒体のドライブ装置（図示せず）を含んでもよい。この場合、ドライブ装置を用いてディスク型記録媒体から読み出された楽曲の音を表すディジタル信号がＤ／Ａ１７に供給され、楽曲音が再生されてもよい。この場合、ディスク型記録媒体から読み出された楽曲の音信号について、ビート音発生タイミングの生成処理が行われてもよい。

【0029】

図２は、制御部１００の構成例を示す。ＣＰＵ１０は、プログラムの実行によって、図２に示すような、時間スパースデータ（「Ｓｐｘデータ」と表記：強度データに相当）の生成部１０１、バッファ１０２、周期データ及び位相データの算出部１０３、ビートの発生タイミングの検出部１０４、及びビート音の再生処理部１０５などを含んだ制御部１００として動作する。バッファ１０２は、例えば、ＲＡＭ１２やＨＤＤ１３の所定の記憶領域に設けられる。

【0030】

Ｓｐｘデータの生成部１０１は、楽曲の音を表すディジタルデータを用いて、Ｓｐｘデータを生成して出力する。バッファ１０２は、少なくとも所定時間分のＳｐｘデータ（複数の強度データに相当）を蓄積する。本実施形態では、所定時間（時間区間）の長さとして６秒を例示するが、所定時間は６秒より長くても短くてもよい。算出部１０３は、バッファ１０２に蓄積された所定時間分のＳｐｘデータの集合を用いて、ビートの周期データ及び位相データを算出する。発生タイミングの検出部１０４は、周期データ及び位相データを用いてビート音の発生タイミングを検出する。再生処理部１０５は、発生タイミングに合わせたビート音の再生処理を行う。

【0031】

以下、制御部１００をなす各部における処理の詳細を説明する。
＜Ｓｐｘデータの生成＞
生成部１０１によるＳｐｘデータの生成について説明する。生成部１０１には、再生に係る楽曲データ（音声出力のためにＤ／Ａ１７に送られたデータ）の音を表すディジタル信号が入力される。音を表すディジタル信号（楽曲信号）は、ＨＤＤ１３に記憶された楽曲データの再生処理によるものでも、ＭＩＣ２０で集音された音声信号のＡ／Ｄ変換によって得られたものでもよい。

【0032】

音を表すディジタルデータは、ＲＡＭ１２に記憶され、生成部１０１の処理に使用される。音を表すディジタルデータは、アナログ信号から所定のサンプリングレートに従って採取されたサンプル（標本）データ（通常、アナログ信号の電圧値）の集合である。本実施形態では、一例として、サンプリングレートは４４１００Ｈｚであるとする。但し、サンプリングレートは、所望のＦＦＴ解像度が得られる限りにおいて適宜変更可能である。

【0033】

図３は、生成部１０１の処理例を示すフローチャートである。生成部１０１には、楽音出力（再生）のためにＤ／Ａ１７へ送られた、楽曲の音を表すディジタルデータ（ディジタル信号）が入力される。生成部１０１は、入力されたディジタルデータから、所定個数のサンプル（「フレーム」と呼ぶ）を取得する（Ｓ０１）。所定個数は、本実施形態では１０２４であるがこれより多くても少なくてもよい。サンプルの取得は、所定間隔で行われる。所定間隔は、例えば５ｍｓであるが、これより多くても少なくてもよい。

【0034】

Ｓ０２では、生成部１０１は、間引き処理を行う。すなわち、生成部１０１は、１０２４個のサンプルに対する１／４間引きを行って、２５６個のサンプルを得る。間引きは１／４間引き以外でもよい。Ｓ０３では、生成部１０１は、２５６個のサンプルに対して高速フーリエ変換（ＦＦＴ）を施し、ＦＦＴの結果（周波数バンド幅毎のパワー）から、フレーム単位でのパワー（スペクトル強度）の大きさを示すデータ（パワーデータという）を得る（Ｓ０４）。なお、パワーは振幅の２乗で表されることから、「パワー」との概念には振幅も含まれる。

【0035】

パワーデータは、例えば、２５６個のサンプルに対するＦＦＴの実施によって得られるパワーの総和である。但し、今回のフレームの各周波数バンド幅のパワーから前回のフレームにおける、対応するバンド幅のパワーを差し引き、その値が正である（パワーが増加している）場合にはそのパワーの値を総和計算のために残し、そうでない（差し引いた値が負である（パワーが減少している））値は無視してもよい。パワーの増加分が大きいところがビートである可能性が高いからである。

【0036】

また、他のフレームとの比較対象が同じである限りにおいて、総和の算出に用いる値は、今回のフレームのパワーの総和であっても、今回のフレームのパワーから前回のフレームのパワーを引いた値が正の値のパワーの総和であっても、今回のフレームのパワーから前回のフレームのパワーを差し引いた差分であってもよい。また、ＦＦＴの実施によって得られるパワースペクトルにおいて、所定の周波数より低い周波数についてのみ、上記した差分の算出が行われてもよい。所定の周波数以上の周波数については、ローパスフィルタを用いてカットしてもよい。

【0037】

パワーデータは、フレーム単位で、ＲＡＭ１２やＨＤＤ１３に記憶される。生成部１０１は、フレーム単位のパワーデータが作成される毎に、パワーの総和（ピーク値）の大きさを比較して大きい方を残し、小さい方は破棄する（Ｓ０５）。生成部１０１は、Ｓ０５で残した総和より大きい総和が所定時間出現していないか否かを判定する（Ｓ０６）。所定時間は例えば１００ｍｓであるが、１００ｍｓより大きくても小さくてもよい。より大きい総和を示すデータが出現していない状態が所定時間続いた場合に、生成部１０１は、そのパワーの総和を示すデータ（すなわち、所定時間の時間区間における最大のピーク）をＳｐｘデータとして抽出し、バッファ１０２に記憶（保存）する（Ｓ０７）。このように、Ｓｐｘデータは、楽音を示すディジタルデータのピーク値を１００ｍｓ間隔で抽出したデータであり、楽曲のビートを司るタイミングを示す情報（タイミング情報）と、そのタイミングにおけるパワーとを示すデータである。Ｓｐｘデータは、バッファ１０２に複数個蓄積される。生成部１０１は、Ｓ０１からＳ０６までの処理を繰り返し行う。

【0038】

図４Ａは、生成部１０１に入力される１２秒分の楽曲のディジタル信号であり、図４Ｂは、図４Ａに示した楽曲のディジタル信号から生成されたＳｐｘデータの例を示す。図４Ｂに示すグラフの横軸は時間で、縦軸はパワーである。このグラフにおいて、上端に黒丸のついた縦線が、図４Ａに示した楽曲のディジタル信号から得られた個々のＳｐｘデータを示し、横軸（時間軸）の位置がタイミングを示し、縦線の長さがパワーを示す。Ｓｐｘデータは、１００ｍｓ間隔で生成される場合、１秒間に１０個程度生成される。

【0039】

＜周期データ及び位相データの算出＞
図５は、算出部１０３の処理例を示すフローチャートである。Ｓ１０において、生成部１０１にて生成された新たなＳｐｘデータがバッファ１０２に到来し、蓄積される。Ｓ１１において、バッファ１０２に蓄積されたＳｐｘデータのうち所定時間分のＳｐｘデータ（複数の強度データに相当）がバッファ１０２から取得される。所定時間は、例えば６秒間であるが、ビートの周期及び位相を得られる限りにおいて６秒より長くても短くてもよい。以降のＳ１２～Ｓ１６の処理は、Ｓ１１で取得した６秒分のＳｐｘデータを用いて行われる処理である。Ｓ１２では、６秒分のＳｐｘデータについて、所定個数（例えば２０個）のＢＰＭ（Beats Per Minute：テンポ（リズムの速さ）を示す）に対応したフーリエ変換を施し、ビートの周期（ＢＰＭの一周期）とビートの位相（ビート音の発生タイミングとを算出する。

【0040】

具体的に説明すると、６秒分のＳｐｘデータについて所定のＢＰＭ範囲における所定個数のＢＰＭ、例えばＢＰＭ８６～１６８に対応する２０個、のＢＰＭに対応する周波数（ＢＰＭ周波数）f = {86,90,94,…,168}/60 について、Ｅｘｐ（２πｊｆｔ）（ＢＰＭ周波数で振動する正弦波、振動数に関係無く振幅は同じ）に対する積和をとる。すなわちフーリエ変換を行う。フーリエ変換の結果をフーリエ変換データc(i) (i=0,1, 2, 3,…,19)とする。

【0041】

図６は、Ｓｐｘデータとフーリエ変換に用いるＢＰＭ周波数を有する正弦波の例を示す図である。図６の例では、ＢＰＭ７２の正弦波（実線で示す）と、ＢＰＭ８８の正弦波（破線で示す）と、ＢＰＭ１０４の正弦波（一点鎖線で示す）とが例示されている。フーリエ変換データc(i)の値は以下の式１により求められる。なお、ＢＰＭの値及びその個数は適宜変更することができる。

【数1】

【0042】

ここに、式１におけるt(k)は、Ｓｐｘデータの存在する過去６秒のうちの時間位置であり、単位は秒である。ｋはそのＳｐｘデータのインデックスであり、k=1,...,Mである（ＭはＳｐｘデータの個数）。また、x(t(k))は、その瞬間のＳｐｘデータの値（ピーク値の大きさ）を示す。ｊは虚数単位（ｊ^２＝－１）である。ｆ(i)はＢＰＭ周波数であり、例えばＢＰＭ１２０は２．０Ｈｚである。

【0043】

算出部１０３は、c(i)＝(c0, 1, c2, c3, ... ,c19)のうち、その絶対値が最大値に対応するＢＰＭをＳｐｘデータ（ビート）のＢＰＭに決定する（Ｓ１３）。また、その位相値（Phase)φ= Arg(c(i))[rad] を、６秒間分のＳｐｘデータについてのビートタイミングとする。 ビートタイミングは、周期的に到来するビートの発生タイミングに対する相対的な位置を示す。

【0044】

位相値φは複素数の偏角であり、ｃ＝ｃ_ｒｅ＋ｊｃ_ｉｍ（ｃ_ｒｅは実部でｃ_ｉｍは虚部）とした場合に、以下の式２により得られる。

【数2】

【0045】

位相値φの算出によって、ＢＰＭの正弦波に対するビートの発生タイミングの相対位置、すなわち、ＢＰＭの一周期に対してビート発生タイミングがどのくらい遅れているかがわかる。

【0046】

図７は、ＢＰＭを示す余弦波（EXP(2πjｆt)の実部）と、ビートの発生タイミングとの関係を図示する。図７に示す例では、Ｓｐｘデータの個数が４であり、そのＢＰＭが７２である。図７に示すＳｐｘデータの夫々は、式２を用いて求められるｃ(i)の値（位相）であり、ビートの発生タイミングを示す。Ｓｐｘデータ間がビート発生タイミングの間隔をなす。図７に示す例では、位相値φの計算によって得られる、ＢＰＭ周波数を有する余弦波からπ／２遅れたタイミングがビートの発生タイミングとなる。算出部１０３は、ＢＰＭの一周期のサンプル数を周期データとする（Ｓ１５）。

【0047】

例えば、ＢＰＭが１０４であり、サンプリングレートが４４１００Ｈｚの場合では、周期データ（サンプル数）は、４４１００[個]／（１０４／６０）＝２５４４２[個]となる。また、周期データが２５４４２[個]の場合において、位相値φが０．３４[rad]であった場合、位相データ（サンプル数）は、２５４４２[個]×０．３４[rad]／２π[rad]＝１３７７[個]となる。そして、算出部１０３は、周期データ及び位相データを出力する（Ｓ１６）。なお、算出部１０３は、６秒分のＳｐｘデータが蓄積されるごとに、Ｓ１１～Ｓ１６の処理を繰り返し行う。これにより、楽曲のリズムの変更に追従することができる。

【0048】

＜ビート発生タイミングの検出＞
図８は、検出部１０４によるビート発生タイミングの検出処理の例を示すフローチャートである。Ｓ２１において、検出部１０４は、新しい周期データ及び位相データが算出部１０３から提供されたかを判定する。新しい周期データ及び位相データが提供された場合には、処理がＳ２２に進み、そうでない場合には、処理がＳ２３に進む。

【0049】

Ｓ２２では、検出部１０４は、新しい周期データ及び位相データをビート発生タイミングの検出に採用し、古い周期データ及び位相データは破棄する。このとき、Ｓｐｘデータの作成時に、Ｓｐｘデータをなすフレームのサンプルは、１００ｍｓ遅延が与えられた状態となっているため、ここで、演奏又は再生中の楽曲とリズムと、後述するハンドクラップ音とが一致するように時間調整（位相調整）が行われる。その後、処理がＳ２３に進む。

【0050】

Ｓ２３では、周期データのサンプル数及び位相データのサンプル数を用いたカウンタの設定を行う。例えば、検出部１０４は、サンプリングレートの１サンプル（サンプリングレートに従ったアナログ信号の電圧チェックの間隔）毎にカウントアップ（インクリメント）を行うカウンタを有し、当該カウンタのカウント値を１サンプル毎にインクリメントする。これによってカウント値が零から所定値（位相データのサンプル数（カウント値）及び周期データのサンプル数（カウント値）の和を示す値）以上になるのを待つ（Ｓ２４）。

【0051】

カウンタのカウント値が所定値以上になると、検出部１０４は、予測に基づく、ビート音の発生タイミングを検出し、ビート音の出力指示を出力する（Ｓ２５）。再生処理部１０５は、出力指示に応じて、ＲＯＭ１１又はＨＤＤ１３に予め記憶していたビート音（例えば、ハンドクラップ音）のディジタルデータをＤ／Ａ１７へ送る。ディジタルデータはＤ／Ａ１７でアナログ信号に変換され、ＡＭＰ１８で振幅増幅された後、スピーカ１９から出力される。これによって、再生又は演奏中の楽曲に重ねてハンドクラップ音が出力される。

【0052】

＜ＢＰＭの範囲設定＞
上記した例では、所定のＢＰＭの範囲（８６～１６８）から選ばれた所定個数（２０個）ＢＰＭに関して、フーリエ変換値の絶対値が最大となるＢＰＭをビート音発生タイミングのＢＰＭに決定する（図５のステップＳ１３及びＳ１４）。実施形態に係るビート音発生タイミング生成装置１では、入力装置１４の操作によって、ＢＰＭの範囲を「広い範囲」と「狭い範囲」との２段階に変更することができる。

【0053】

（第１の方法）
図１１は、ＢＰＭの範囲を設定する第１の方法を示す処理例を示すフローチャートである。図１１のフローは、ＣＰＵ１０がプログラムを実行することによって行われる。ステップＳ１０１では、ＣＰＵ１０は、入力装置１４の操作によって、ＢＰＭの範囲を変更する命令が入力されたか否かを判定する。

【0054】

ステップＳ１０１において、ＢＰＭの範囲を広い範囲に変更する命令が入力された（広い範囲が指定された）と判定される場合には、ＣＰＵ１０は、ＢＰＭの範囲を広い範囲に設定する（ステップＳ１０２）。広い範囲の一例として、ＣＰＵ１０は、ＢＰＭの最小値を１００に設定するとともに、ＢＰＭの最大値を２４０に設定する。

【0055】

これに対し、ＢＰＭの範囲を狭い範囲に変更する命令が入力された（狭い範囲が指定された）と判定される場合には、ＣＰＵ１０は、ＢＰＭの範囲を狭い範囲に設定する（ステップＳ１０３）。狭い範囲の一例として、ＣＰＵ１０は、ＢＰＭの最小値を１２０に設定するとともに、ＢＰＭの最大値を１６０に設定する。なお、変更なしと判定される場合には、ＣＰＵ１０は特に処理を行わず、現在のＢＰＭの範囲の設定が維持される。なお、広い範囲及び狭い範囲の夫々におけるＢＰＭの最小値及び最大値は例示であり、適宜の値を設定可能である。これは、後述する第２及び第３の方法においても同様である。

【0056】

図１１に示す処理は、例えば、入力装置１４に含まれる一つのボタンの操作によって行われる。すなわち、ＣＰＵ１０は、周期的に、ボタンの状態を監視する。図１２は、ボタンの状態を示す表である。ボタンの直前の状態が押していない状態で、現在の状態も押されていない状態であれば、「変更なし」として、ＣＰＵ１０は、ＢＰＭの範囲を変更する処理を行わない。これに対し、ボタンが長押しされた場合、すなわち、２以上の状態の検出タイミングにおいて、押されている状態が継続している場合には、その操作をＣＰＵ１０は変更命令の入力と判定し、ＢＰＭの範囲を広い範囲に変更する処理を行う（Ｓ１０１）。また、長押しの状態からボタンの押圧が解除された場合には、その操作をＣＰＵ１０は変更命令の入力と判定し、ＢＰＭの範囲を狭い範囲に変更する処理を行う。

【0057】

上記した構成の代わりに、ＣＰＵ１０は、ボタンが押される毎に、ＢＰＭの範囲を変更するようにしてもよい。また、ボタンの代わりに、広い範囲及び狭い範囲の二つの範囲に対応するレンジを有するつまみが用いられてもよい。

【0058】

（第２の方法）
図１３は、ＢＰＭの範囲を設定する第２の方法を示す処理例を示すフローチャートである。図１３のフローは、ＣＰＵ１０がプログラムを実行することによって行われる。ステップＳ２０１では、ＣＰＵ１０は、入力装置１４の操作によって、ＢＰＭの範囲を変更する命令が入力されたか否かを判定する。

【0059】

ステップＳ２０１において、ＢＰＭの範囲を広い範囲に変更する命令が入力された（広い範囲が指定された）と判定される場合には、ＣＰＵ１０は、ステップＳ１０２と同様に、ＢＰＭの範囲を広い範囲に設定する（ステップＳ２０２）。

【0060】

これに対し、ＢＰＭの範囲を狭い範囲に変更する命令が入力された（狭い範囲が指定された）と判定される場合には、ＣＰＵ１０は、現在のＢＰＭ値ｍを取得し、ＢＰＭの範囲を、ｍの値から所定のパーセンテージだけ離れた範囲に設定する。図１２に示す例では、ｍの値から上下７％離れた値の夫々がＢＰＭの最小値及び最大値に設定されている。所定のパーセンテージは、例えば２～１５％であり、さらに好ましくは５～１０％である。

【0061】

（第３の方法）
図１４及び１５は、ＢＰＭの範囲を設定する第３の方法を示す処理例を示すフローチャートである。図１４及び１５のフローは、ＣＰＵ１０がプログラムを実行することによって行われる。ステップＳ３０１では、ＣＰＵ１０は、入力装置１４の操作によって、ＢＰＭの範囲を変更する命令が入力されたか否かを判定する。

【0062】

ステップＳ３０１において、ＢＰＭの範囲を広い範囲に変更する命令が入力された（広い範囲が指定された）と判定される場合には、ＣＰＵ１０は、ステップＳ１０２と同様に、ＢＰＭの範囲を広い範囲に設定する。また、範囲が広いか狭いかを示すフラグの値を「広い」（値：０又は１）に設定する（ステップＳ３０２）。これに対し、ＢＰＭの範囲を狭い範囲に変更する命令が入力された（狭い範囲が指定された）と判定される場合には、ＣＰＵ１０は、フラグの値を「狭い」（値：１又は０）に設定する（ステップＳ３０３）。

【0063】

図１５に示すように、第３の方法では、図５のステップＳ１３において、フーリエ変換のデータの絶対値の最大値に対応するＢＰＭ値ｍが算出される。ステップＳ３１１にてＣＰＵ１０がフラグの値を確認し、フラグの値が「狭い」である場合には、ＣＰＵ１０は、ステップＳ２０２と同様に、ＢＰＭの範囲を、ＢＰＭ値ｍの上下７％の範囲に狭める。その後、処理がステップＳ１４に進む。これに対し、フラグの値が「広い」である場合には、広いＢＰＭの範囲でステップＳ１４の処理が実行される。

【0064】

なお、第２及び第３の方法のＳ２０１及びＳ３０１の夫々においても、「変更なし」の場合には、ＣＰＵ１０は特に処理を行わない。また、第２及び第３の方法におけるＢＰＭの範囲、最大値及び最小値の値は、第１の方法と同様に任意の値を採ることができる。また、図１２の処理に係る入力装置１４の操作として、第１の方法において説明したボタンやつまみの操作を適用することができる。

【0065】

＜実施形態の効果＞
実施形態に係るビート音発生タイミング生成装置１に係る第１～第３の方法では、通常はＢＰＭの範囲を「広い範囲」に設定しておく。そして、ビート音の発生タイミングの生成（ビートの検出）が進行している際に、より安定的なビートの検出が望まれる場合に、入力装置１４（操作子）の操作によって、ビートを検出するためのＢＰＭの範囲を「狭い範囲」に切り替える。

【0066】

通常、楽曲の内在的ビートは整数比であるところの２／３、又は４／３などである。これより、「狭い範囲」を広い範囲より数％～数十％狭いＢＰＭの範囲に限定する。これによって、二つのビートのうちの一方が、最大のＢＰＭを検出するためのＢＰＭの範囲から外れることによって、該当のビートに基づくビート音の発生タイミングが生成されなくなる。これによって、恒常的にほぼ一定のビート音の発生タイミングを生成することが可能となる。

【0067】

また、第２の方法では、入力装置１４（操作子）の操作の瞬間、例えば、ボタンの長押し（「広い範囲」の選択）からボタンの押圧を解除したときに、現在のＢＰＭ値を取得し、取得したＢＰＭ値の上下数パーセントを「狭い範囲」として設定し、ビートを検出するためのＢＰＭの範囲を「狭い範囲」に切り替える。

【0068】

ビート音発生タイミング生成装置１の使用者は、操作子を操作する際、使用者が希望するビートが検出されている瞬間を選んで操作する（ボタンの長押し解除など）ことにより、使用者の希望するビートのＢＰＭを含んだＢＰＭの狭い範囲を設定することができる。これにより、使用者の望むビートについてのビート音の発生タイミングを生成でき、交錯のない、恒常的にほぼ一定のビート音の発生タイミングが生成されるようになる。

【0069】

さらに、第３の方法では、入力装置１４（操作子）の操作の瞬間にＢＰＭ値ｍを取得し、ＢＰＭ値ｍの上下数パーセントを「狭い範囲」として設定し、「狭い範囲」（フラグ＝狭い）が指定されている間は、常に直前に検出したＢＰＭ値ｍの上下数パーセントを「狭い範囲」として設定し続ける。これにより、安定したビートの検出を続けながらも、楽曲の変化に自然な形で追従するビート検出が実現できる。

【0070】

図１６は、図９Ａで示した楽曲の信号に関して、第２及び第３の方法を実施した場合に検出されるビート（ビート音の発生タイミング）を縦線で表したものであり、ＢＰＭの変化が９Ｂに示したように発生するものであっても、ビート音の発生タイミングを安定的に生成（検出）していることがわかる。

【0071】

なお、制御部１００が行う処理は、複数のＣＰＵ（プロセッサ）によって行うのでも、マルチコア構成のＣＰＵによって行うのでもよい。また、制御部１００が行う処理は、ＣＰＵ１０以外のプロセッサ（ＤＳＰやＧＰＵなど）、プロセッサ以外の集積回路（ＡＳＩＣやＦＰＧＡなど）、或いはプロセッサと集積回路との組み合わせ（ＭＰＵ、ＳｏＣなど）によって実行されてもよい。

【符号の説明】

【0072】

１・・・ビート音発生タイミング生成装置
２・・・ネットワーク
１０・・・ＣＰＵ
１１・・・ＲＯＭ
１２・・・ＲＡＭ
１３・・・ＨＤＤ
１４・・・入力装置
１５・・・表示装置
１６・・・通信インタフェース
１７・・・ディジタルアナログ変換器
１８・・・アンプ
１９・・・スピーカ
２０・・・アナログディジタル変換器
２１・・・マイクロフォン
１００・・・制御部
１０１・・・生成部
１０２・・・バッファ
１０３・・・算出部
１０４・・・検出部
１０５・・・再生処理部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】