(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0010】
以下、この発明の実施の形態について詳細に説明する。なお、図面中において同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。
【0011】
この発明の実施形態は、比較的安価なチップを用いて実現することを目的として設計された組み込み機器の楽音評価装置である。例えば、携帯可能なサイズで設計された小型の組み込み機器に対して評価対象の楽音信号が入力され、その評価結果が筺体上に備えられた表示画面に出力される形態が挙げられる。ただし、従来の楽音評価装置のように、例えばスマートフォンやパーソナルコンピュータなどの汎用の情報処理端末に専用のソフトウェアをインストールして実現する場合であっても、演算量の低下による消費電力や発熱量の低減などの効果が期待できるため、この発明の実施形態は組み込み機器に限定されるものではない。
【0012】
実施形態の楽音評価装置は、例えば、
図1に示すように、入力端子10、A/D変換部11、ピッチ検出部12、ラウドネス算出部13、ブライトネス算出部14、発音区間検出部15、音高安定度算出部16、音量安定度算出部17、音色安定度算出部18、グラフ化部19、および評価結果出力部20を含む。この楽音評価装置が、後述の各ステップの処理を行うことにより実施形態の楽音評価方法が実現される。
【0013】
楽音評価装置は、例えば、中央演算処理装置(CPU: Central Processing Unit)、主記憶装置(RAM: Random Access Memory)などを有する公知又は専用のコンピュータに特別なプログラムが読み込まれて構成された特別な装置である。楽音評価装置は、例えば、中央演算処理装置の制御のもとで各処理を実行する。楽音評価装置に入力されたデータや各処理で得られたデータは、例えば、主記憶装置に格納され、主記憶装置に格納されたデータは必要に応じて読み出されて他の処理に利用される。また、楽音評価装置の各処理部の少なくとも一部が集積回路等のハードウェアによって構成されていてもよい。
【0014】
楽音評価装置の入力端子10には、評価の対象とする楽音信号(以下、入力楽音信号という。)が入力される。入力楽音信号は各種の楽器を演奏した際の演奏音が収録された音響信号である。演奏される楽器の種類は限定されず、例えばバイオリンやチェロのような弦楽器であってもよいし、トランペットやクラリネット、フルートのような管楽器であってもよい。入力楽音信号は、マイクロホン等の収音手段を入力端子10へ接続してリアルタイムに楽器の演奏音を収音したものであってもよいし、あらかじめ楽器の演奏音をICレコーダーやスマートフォンの録音機能のような録音手段で不揮発性メモリやハードディスクドライブのような記録媒体へ録音し、入力端子10へ接続した再生手段により再生することで入力してもよい。
【0015】
楽音評価装置でリアルタイムに演奏している楽音の評価をする場合には、評価対象の楽音を収音可能な位置に楽音評価装置を設置する必要があるため、楽音評価装置は携帯可能な装置として構成するとよい。具体的には、例えば、マイクロコンピュータを内蔵した小型の専用機器として構成してもよいし、例えば、携帯電話やスマートフォン、タブレット端末、モバイルコンピュータ等のようにマイクロホンを内蔵した汎用の情報処理装置に楽音評価装置の機能を実装したアプリケーションプログラムをインストールして構成してもよい。
【0016】
A/D変換部11は、入力端子10から入力されたアナログの入力楽音信号をパルス符号変調(PCM: Pulse Code Modulation)などによりデジタル信号に変換する。以降の処理は、特に記載しない限り、複数のサンプルをまとめたフレーム毎に行われるものとする。サンプリング周波数やフレーム長は任意に定めればよい。入力端子10からの入力楽音信号がデジタル信号である場合にはA/D変換部11は備えなくともよい。デジタル信号である入力楽音信号は、ラウドネス算出部13およびブライトネス算出部14へ入力される。
【0017】
ピッチ検出部12は、入力端子10から入力された入力楽音信号の周期を計測し、ピッチを検出する。検出したピッチの情報は、ブライトネス算出部14および音高安定度算出部16へ入力される。
【0018】
ラウドネス算出部13は、入力楽音信号から音量レベルを算出する。音量レベルの算出方法は周知のいかなる方法をも適用することができる。利用可能な音量算出方法としては、例えば、「特開2008−096698号公報」に記載のものが挙げられる。算出した音量レベルの情報は、発音区間検出部15および音量安定度算出部17へ入力される。
【0019】
ブライトネス算出部14は、A/D変換部11から入力される入力楽音信号と、ピッチ検出部12から入力されるピッチの情報とから、入力楽音信号のブライトネス(音の明るさ)を算出する。ブライトネスは、音の基本周波数成分に対して倍音成分が多いほど音が明るいと評価され、音の基本周波数成分に対して倍音成分が少ないほど音が暗いと評価される指標である。算出したブライトネスは、音色安定度算出部18へ入力される。
【0020】
以下、
図2を参照して、ブライトネス算出部14の詳細な構成を説明する。ブライトネス算出部14は、
図2に示すように、ピッチの情報と入力楽音信号とを入力とし、ブライトネスの値を出力する。ブライトネス算出部14は、例えば、フィルタ係数設計部140、2個のバンドパスフィルタ142−1,142−2、2個のラウドネス算出部144−1,144−2、およびレベル比算出部146を含む。
【0021】
フィルタ係数設計部140は、ピッチ検出部12から入力されたピッチの情報を参照し、バンドパスフィルタ142−1,142−2それぞれに設定するフィルタ係数を設計する。バンドパスフィルタ142−1のフィルタ係数は、入力楽音信号の基本周波数成分を含み、所定の次数以上の高次の倍音成分を含まない周波数帯域(以下、第一の周波数帯域という。)の信号を抽出するように設計される。バンドパスフィルタ142−2のフィルタ係数は、入力楽音信号の基本周波数成分を含まず、所定の次数以上の高次の倍音成分を含む周波数帯域(以下、第二の周波数帯域という。)の信号を抽出するように設計される。所定の次数未満の低次の倍音成分については、第一の周波数帯域に含んでもよいし、第二の周波数帯域に含んでもよい。高次と低次とを分ける所定の次数は、楽器の種類等を考慮して任意に定めることができる。
【0022】
バンドパスフィルタ142−1は、入力楽音信号から第一の周波数帯域の信号を抽出する。同様に、バンドパスフィルタ142−2は、入力楽音信号から第二の周波数帯域の信号を抽出する。第一の周波数帯域と第二の周波数帯域とは、入力楽音信号のピッチにより変動するため、バンドパスフィルタ142−1およびバンドパスフィルタ142−2は、遮断周波数が可変である必要がある。
【0023】
図3に、入力楽音信号とバンドパスフィルタの周波数特性を示す。第一のバンドパスフィルタ(BPF1、23)は基本周波数成分(21)を通過し、倍音成分(22)を遮断するようにフィルタ係数が設計されており、第二のバンドパスフィルタ(BPF2、24)は基本周波数成分(21)を遮断し、倍音成分(22)を通過するようにフィルタ係数が設計されていることがわかる。
【0024】
ラウドネス算出部144−1は、バンドパスフィルタ142−1が出力する第一の周波数帯域の信号の音量レベルを算出する。ラウドネス算出部144−2は、バンドパスフィルタ142−2が出力する第二の周波数帯域の信号の音量レベルを算出する。音量レベルの算出方法は、ラウドネス算出部13と同様の方法を用いればよい。
【0025】
レベル比算出部146は、ラウドネス算出部144−1により算出された第一の周波数帯域の信号(すなわち、基本周波数成分)の音量レベルとラウドネス算出部144−2により算出された第二の周波数帯域の信号(すなわち、倍音成分)の音量レベルとの比を計算し、入力楽音信号のブライトネスとして出力する。
【0026】
発音区間検出部15は、ラウドネス算出部13から入力される入力楽音信号の音量レベルを参照し、発音区間を検出する。発音区間の検出は周知のいかなる方法をも適用することができる。例えば、入力楽音信号の音量レベルが規定のレベルを超えたら発音区間の始点とし、入力楽音信号の音量レベルが規定のレベルを下回ったら発音区間の終点として検出すればよい。検出した発音区間の情報は、音高安定度算出部16、音量安定度算出部17、および音色安定度算出部18へ入力される。
【0027】
音高安定度算出部16は、ピッチ検出部12から入力されたピッチの情報と、発音区間検出部15から入力された発音区間の情報とを参照し、直前の発音区間における音高安定度を算出する。音高安定度とは、評価対象の楽音におけるピッチの変化の度合いを表す評価指標である。一般的に楽器の演奏はピッチのふらつきが少ない方が良い音であると感じられる。したがって、ピッチの変化の度合いが小さい方が高い音高安定度を与えられるようにする。算出した音高安定度は、グラフ化部19へ入力される。
【0028】
音量安定度算出部18は、ラウドネス算出部13から入力された音量レベルの情報と、発音区間検出部15から入力された発音区間の情報とを参照し、直前の発音区間における音量安定度を算出する。音量安定度とは、評価対象の楽音における音量の変化の度合いを表す評価指標である。一般的に楽器の演奏は音量が安定している方が良い音であると感じられる。したがって、音量の変化の度合いが小さい方が高い音量安定度を与えられるようにする。算出した音量安定度は、グラフ化部19へ入力される。
【0029】
音色安定度算出部18は、ブライトネス算出部14から入力されたブライトネスの情報と、発音区間検出部15から入力された発音区間の情報とを参照し、直前の発音区間における音色安定度を算出する。音色安定度は、周波数スペクトルの変化の度合いを表す評価指標である。上述のように、ブライトネスは基本周波数成分を含む周波数帯域と倍音成分を含む周波数帯域との音量レベルの比であり、音色の一種である。一般的に楽器の演奏は音色のふらつきが少ない方が良い音であると感じられる。したがって、ブライトネスの値の変化の度合いが小さい方が高い音色安定度を与えられるようにする。算出した音色安定度は、グラフ化部19へ入力される。
【0030】
グラフ化部19は、音高安定度、音量安定度、および音色安定度をグラフ化し、評価結果出力部20へ出力する。グラフの表示形態は任意に設計できる。
【0031】
評価結果出力部20は、グラフ化部19から入力されるグラフ化された各評価指標を入力楽音信号の評価結果として出力する。評価結果出力部20は、例えば各評価指標に対応するLEDを色別に配列した専用の表示装置であってもよいし、液晶ディスプレイや有機ELディスプレイのような汎用的な表示装置であってもよい。
【0032】
図4に、評価結果の表示形態の具体例を示す。例えば、検出したピッチから推測される音名を画面上部中央(31)に表示し、その音名の基準周波数と入力楽音信号のピッチとの誤差を音名の下(32)に表示する。ピッチ誤差は左右に並べられたインジケータのうち点灯する位置により表され、中央はピッチが合っている状態であり、左右にずれるとピッチがずれている状態を表している。ピッチ誤差の下(33)には、音量および音色の現在の値を表示する。音量の値は左端から中央へ並べられたインジケータの点灯する位置により表され、中央に近いほど値が高いことを表している。音色の値は中央から右へ並べられたインジケータの点灯する位置により表され、右端に近いほど音色が明るいことを表している。各安定度は画面下部(34、「STABILITY」)に表示され、画面左から音量安定度(35、「DYNAMICS」)、音高安定度(36、「PITCH」)、音色安定度(37、「BRIGHTNESS」)が表示されている。各安定度は上下に並べられたインジケータのうち下から上へ向けて点灯する範囲が伸びることで表示され、より高い位置まで点灯すると安定度が高い(すなわち、ぶれが小さい)状態を表している。各安定度は発音区間の終了を契機として算出されるため、各安定度の表示は発音区間の開始を検出するとクリアされ、発音区間の終了を検出すると表示される。また、その表示は次の発音区間の開始を検出するまで継続する。なお、音名とピッチ誤差と音量および音色の現在の値は発音区間の検出に関係なくリアルタイムに表示する。
【0033】
図5を参照して、楽音評価装置が音色安定度を表示する処理手続きの流れを説明する。ステップS1において、入力端子10から1フレーム分の楽音信号を取り込む。楽音信号の1フレームは、例えば、1024サンプルである。ステップS2において、発音区間検出部15は楽音信号の入力があったか否かを判定する。入力がなかった場合(No)にはステップS1へ処理を戻し、次の1フレーム分の楽音信号を取り込む。入力があった場合(Yes)にはステップS3へ処理を進める。ステップS3において、ピッチ検出部12は、入力楽音信号のピッチを検出する。ステップS4−1において、フィルタ係数設計部140は、バンドパスフィルタ142−1のフィルタ係数を設計する。同様に、ステップS4−2において、フィルタ係数設計部140は、バンドパスフィルタ142−2のフィルタ係数を設計する。ステップS5−1において、ラウドネス算出部144−1は、バンドパスフィルタ142−1の出力する信号の音量レベルを算出する。同様に、ステップS5−2において、ラウドネス算出部144−2は、バンドパスフィルタ142−2の出力する信号の音量レベルを算出する。ステップS6において、レベル比算出部146は、各信号の音量レベルの比を計算する。ステップS7において、入力端子10から次の1フレーム分の楽音信号を取り込む。ステップS8において、発音区間検出部15は楽音信号の入力があったか否かを判定する。入力があった場合(Yes)にはステップS5−1,S5−2へ処理を戻し、次の1フレーム分の楽音信号の音量レベルを算出する。入力がなかった場合(No)にはステップS9へ処理を進める。ステップS9において、音色安定度算出部18は、発音区間中に算出されたブライトネスの時系列から音色安定度を算出する。ステップS10において、グラフ化部19は音色安定度の表示形態を決定し、評価結果出力部20へ音色安定度を表示する。
【0034】
上述の実施形態では、楽音の評価指標のうちブライトネス(音の明るさ)について複数のバンドパスフィルタを用いて算出する構成を説明した。しかしながら、この発明の楽音評価技術により算出することができる評価指標はブライトネスに限定されない。例えば、下記参考文献1に記載された三刺激値による音色の評価方法であっても、同様にして、高速フーリエ変換を用いずに複数のバンドパスフィルタを組み合わせる構成により類似した効果を実現することが可能である。
〔参考文献1〕Pollard, H. F., Jansson, E. V., “A Tristimulus Method for the Specification of Musical Timbre”, Acustica, vol. 51, No. 3, pp. 162-171, 1982.
【0035】
このように他の評価指標を求める構成とした場合、ブライトネス算出部14は、例えば、評価値算出部と呼び、音色安定度を算出する音色安定度算出部18は、例えば、評価結果生成部と呼ぶこともある。
【0036】
上記のように構成することにより、この発明の楽音評価装置の利用者は、楽器を演奏しながら、自らの演奏する楽音の音高安定度、音量安定度、および音色安定度などの評価指標を確認することができる。これにより、利用者は自らの演奏手法がどの程度の習熟度にあるのかを容易に把握することができる。したがって、楽音評価装置は利用者がより良い楽音を発する演奏手法を習得することを支援することができる。
【0037】
従来の楽音評価装置では、楽音の評価指標を算出するために、演算量の多い高速フーリエ変換を行って周波数スペクトルを求める必要があった。そのため、高速なマイクロプロセッサを搭載したスマートフォンやパーソナルコンピュータでないと実現することが困難であった。この発明の楽音評価装置では、高速フーリエ変換を用いずに複数のバンドパスフィルタを組み合わせることで楽音の評価値を得ることができる。そのため、計算リソースが制限された低価格な組み込み機器であっても実現することが可能である。
【0038】
以上、この発明の実施の形態について説明したが、具体的な構成は、これらの実施の形態に限られるものではなく、この発明の趣旨を逸脱しない範囲で適宜設計の変更等があっても、この発明に含まれることはいうまでもない。実施の形態において説明した各種の処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。
【0039】
[プログラム、記録媒体]
上記実施形態で説明した各装置における各種の処理機能をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記各装置における各種の処理機能がコンピュータ上で実現される。
【0040】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。
【0041】
また、このプログラムの流通は、例えば、そのプログラムを記録したDVD、CD-ROM等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
【0042】
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるASP(Application Service Provider)型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの(コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等)を含むものとする。
【0043】
また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。