特許 6569712 電子楽器、電子楽器の楽音発生方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6569712

(24)【登録日】2019年8月16日

(45)【発行日】2019年9月4日

(54)【発明の名称】電子楽器、電子楽器の楽音発生方法、及びプログラム

(51)【国際特許分類】

   G10H 1/00 20060101AFI20190826BHJP

   G10H 1/053 20060101ALI20190826BHJP

   G10H 1/12 20060101ALI20190826BHJP

   G10L 13/02 20130101ALI20190826BHJP

   G10L 13/08 20130101ALI20190826BHJP

【ＦＩ】

   G10H1/00 B

   G10H1/053 B

   G10H1/12

   G10L13/02 110A

   G10L13/08 150B

【請求項の数】8

【全頁数】15

(21)【出願番号】特願2017-186690(P2017-186690)

(22)【出願日】2017年9月27日

(65)【公開番号】特開2019-61135(P2019-61135A)

(43)【公開日】2019年4月18日

【審査請求日】2017年12月26日

(73)【特許権者】

【識別番号】000001443

【氏名又は名称】カシオ計算機株式会社

(74)【代理人】

【識別番号】100074099

【弁理士】

【氏名又は名称】大菅 義之

(74)【代理人】

【識別番号】100121083

【弁理士】

【氏名又は名称】青木 宏義

(74)【代理人】

【識別番号】100138391

【弁理士】

【氏名又は名称】天田 昌行

(72)【発明者】

【氏名】岩瀬 広

【審査官】 上田 雄

(56)【参考文献】

【文献】 特開２００１−２４９６６８（ＪＰ，Ａ）

【文献】 特開２００９−１２２６１１（ＪＰ，Ａ）

【文献】 特開２００６−１５４５２６（ＪＰ，Ａ）

【文献】 特開平０９−２０４１８５（ＪＰ，Ａ）

【文献】 特開２０１５−１７９１４３（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ１０Ｈ １／００− ７／１２

Ｇ１０Ｌ １３／００−１３／１０

(57)【特許請求の範囲】

【請求項1】

楽曲のメロディに含まれる各音それぞれの基音周波数と、前記楽曲のメロディに含まれる各音に合わせて歌われた歌声を示す歌声波形データにおける各音それぞれの基音周波数と、の差を示すピッチ変動データを、演奏者による前記楽曲の演奏開始前から記憶しているメモリと、
前記演奏者が前記楽曲の演奏開始後に歌わなくても、前記メモリから取得されるピッチ変動データと、演奏のために前記演奏者により指定された音高に応じた演奏指定ピッチデータと、に基づいてキャリア信号となる信号を出力する音源と、
を備える電子楽器。

【請求項2】

前記メモリは、前記歌声波形データに基づいて生成されている前記歌声の特徴を示す複数の振幅データであって、複数の周波数帯域それぞれに応じた複数の振幅データを、前記演奏者による前記楽曲の演奏開始前から記憶しており、
前記キャリア信号を、前記メモリから取得される前記複数の振幅データに基づいて変更することにより生成された第２波形データを出力する出力装置、
を備える、ことを特徴とする請求項１に記載の電子楽器。

【請求項3】

前記メモリは、前記歌声波形データに基づいて生成されている子音振幅波形データを、前記演奏者による前記楽曲の演奏開始前から記憶しており、
前記キャリア信号は、前記メモリから取得される前記子音振幅波形データに基づく発振を含む、ことを特徴とする請求項１または２に記載の電子楽器。

【請求項4】

前記子音振幅波形データは、前記楽曲のメロディに含まれる各音に合わせて歌われた歌声を示す歌声波形データにおける各音それぞれの基音周波数を、ピッチ検出器が検出しなかった区間の振幅に基づいて生成されている、ことを特徴とする請求項３に記載の電子楽器。

【請求項5】

前記楽曲の演奏開始時を起点とする時間経過に従い、前記ピッチ変動データを前記メモリから読み出すマイコン、を備える、ことを特徴とする請求項１乃至４の何れかに記載の電子楽器。

【請求項6】

前記マイコンは、前記演奏者がレッスン開始を指示した時点から計時される楽曲の進行時間に該当する時間に応じて、前記複数の周波数帯域それぞれに応じた複数の振幅データを読み出している、ことを特徴とする請求項２を引用する請求項５に記載の電子楽器。

【請求項7】

楽曲のメロディに含まれる各音それぞれの基音周波数と、前記楽曲のメロディに含まれる各音に合わせて歌われた歌声を示す歌声波形データにおける各音それぞれの基音周波数と、の差を示すピッチ変動データを、演奏者による前記楽曲の演奏開始前から記憶しているメモリを備えた電子楽器のコンピュータに、
前記演奏者が前記楽曲の演奏開始後に歌わなくても、前記メモリから取得されるピッチ変動データと、演奏のために前記演奏者により指定された音高に応じた演奏指定ピッチデータと、に基づいてキャリア信号となる信号を出力させる楽音発生方法。

【請求項8】

楽曲のメロディに含まれる各音それぞれの基音周波数と、前記楽曲のメロディに含まれる各音に合わせて歌われた歌声を示す歌声波形データにおける各音それぞれの基音周波数と、の差を示すピッチ変動データを、演奏者による前記楽曲の演奏開始前から記憶しているメモリを備えた電子楽器のコンピュータに、
前記演奏者が前記楽曲の演奏開始後に歌わなくても、前記メモリから取得されるピッチ変動データと、演奏のために前記演奏者により指定された音高に応じた演奏指定ピッチデータと、に基づいてキャリア信号となる信号を出力させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、電子楽器、電子楽器の楽音発生方法、及びプログラムに関する。

【背景技術】

【0002】

従来、歌唱音声を鍵盤操作子等で演奏させる楽曲演奏装置の技術が提案されている（例えば特許文献１に記載の技術）。この従来技術では、入力された音声（モジュレータ信号）に対して、それぞれの中心周波数が異なる複数のバンドパスフィルタ群（分析フィルタ群、声道分析フィルタ）により、各周波数帯の音声レベルを計測し、鍵盤操作子で弾かれた電子音（キャリア信号）に対して、それぞれの中心周波数が異なる複数のバンドパスフィルタ群（再生フィルタ群、声道再生フィルタ）を通し、各バンドパスフィルタの出力レベルを、計測された音声レベルにより制御する、いわゆるボコーダと呼ばれる技術が提案されており、鍵盤操作子で弾かれた音を人が喋っているような音に変化させるものである。

【0003】

また、従来、人の声の音声発生方式として、人の声道をモデル化したフィルタ（声道フィルタ）を用いて、音高を決定する連続波形信号を入力して、人の声を模倣する技術も知られている。

【0004】

更に、管楽器音や弦楽器音を鍵盤操作子等で演奏させる装置として物理音源を用いた電子楽器の音源技術も知られている。この従来技術は、ウェーブガイドと呼ばれる、弦や空気の振動変化をデジタルフィルタで模倣し楽器音を発生させる技術である。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１５−１７９１４３号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかし、上記従来技術は、音源の波形は人の声や自然楽器に近づけることができるが、その出力音声のピッチ(音高変化）は、鍵盤操作子で弾かれた音高に基づく一定のピッチをもつ電子音（キャリア信号あるいは励起信号）で一律に決定されるため、ピッチ変化が単調であり、リアリティに欠ける。

【0007】

そこで、本発明は、入力音声の特徴であるフォルマント変化だけではなく、入力音声のピッチ変化も再現することを目的とする。

【課題を解決するための手段】

【0008】

態様の一例は、楽曲のメロディに含まれる各音それぞれの基音周波数と、前記楽曲のメロディに含まれる各音に合わせて歌われた歌声を示す歌声波形データにおける各音それぞれの基音周波数と、の差を示すピッチ変動データを、演奏者による前記楽曲の演奏開始前から記憶しているメモリと、前記演奏者が前記楽曲の演奏開始後に歌わなくても、前記メモリから取得されるピッチ変動データと、演奏のために前記演奏者により指定された音高に応じた演奏指定ピッチデータと、に基づいてキャリア信号となる信号を出力する音源と、を備える電子楽器である。

【発明の効果】

【0009】

本発明によれば、入力音声の特徴であるフォルマント変化だけではなく、入力音声のピッチ変化も再現することが可能となる。

【図面の簡単な説明】

【0010】

【図1】電子楽器の実施形態のブロック図である。

【図2】ボコーダ復調装置の詳細構成を示すブロック図である。

【図3】メモリのデータ構成例を示す図である。

【図4】ボコーダ変調装置４０１のブロック図である。

【図5】ボコーダ変調装置の詳細構成を示すブロック図である。

【図6】音声変調装置におけるピッチ変動データの生成のしくみを説明する図である。

【図7】電子楽器の楽音発生処理の例を示すフローチャートである。

【図8】鍵盤処理の詳細例を示すフローチャートである。

【図9】ピッチ更新処理の詳細例を示すフローチャートである。

【図10】ボコーダ復調処理の詳細例を示すフローチャートである。

【発明を実施するための形態】

【0011】

以下、本発明を実施するための形態について図面を参照しながら詳細に説明する。図１は、電子楽器１００の実施形態のブロック図である。電子楽器１００は、メモリ１０１、鍵盤操作子１０２、音源１０３、ボコーダ復調装置１０４、サウンドシステム１０５、マイクロコンピュータ１０７（以下「マイコン１０７」と記載）、及びスイッチ群１０８を備える。

【0012】

メモリ１０１は、実際に歌唱された楽曲の音声データである歌声波形データに含まれる各音の複数の周波数帯域夫々に対応する振幅の時系列データである第２振幅データ１１１と、楽曲の歌唱の例えば模範データであるメロディに含まれる各音の母音区間の基音周波数と上記歌声波形データに含まれる各音の母音区間の基音周波数との差を示す時系列データであるピッチ変動データ１１２と、上記歌声波形データの各音の子音区間に対応する時系列データである子音振幅データ１１３とを記憶する。第２振幅データ１１１は、ボコーダ復調装置１０５の上記複数の周波数帯域成分夫々を通過させるバンドパスフィルタ群の各バンドパスフィルタの利得を制御する時系列データである。ピッチ変動データ１１２は、メロディに含まれる各音の母音区間に対して予め設定されている例えば模範となる音高の基音周波数データと、実際の歌唱から得られる歌声波形データに含まれる各音の母音区間の基音周波数データとの差分データを、時系列に沿って抽出したデータである。子音振幅データ１１３は、上記歌声波形データに含まれる各音の子音区間のノイズ振幅データの時系列である。

【0013】

鍵盤操作子１０２は、ユーザの演奏操作により指定された音高を示す演奏指定ピッチデータ１１０を時系列で入力する。

【0014】

マイコン１０７は、ピッチ変更処理として、鍵盤操作子１０２から入力された演奏指定ピッチデータ１１０の時系列を、メモリ１０１から順次入力するピッチ変動データ１１２の時系列に基づいて変更することにより変更済ピッチデータ１１５の時系列を生成する。

【0015】

続いて、マイコン１０７は、第１出力処理として、上記変更済ピッチデータ１１５を音源１０３に出力すると共に、鍵盤操作子１０２における押鍵又は離鍵の操作に対応する押鍵・離鍵指示１１４の時系列を生成して音源１０３に出力する。

【0016】

一方、マイコン１０７は、ノイズ生成指示処理として、鍵盤操作子１０２の操作に対応する歌声波形データに含まれる各音の子音区間、例えば各音の発音タイミングに先行する所定の短時間区間では、ピッチ変動データ１１２を音源１０３に出力する代わりに、メモリ１０１から上記子音区間のタイミングで順次読み込まれる子音振幅データ１１３を、ノイズ発生器１０６に出力する。

【0017】

更に、マイコン１０７は、振幅変更処理の一部の処理として、歌声波形データに含まれる各音の複数の周波数帯域夫々に対応する複数の第２振幅データ１１１の時系列を、メモリ１０１から読み込んでボコーダ復調装置１０４に出力する。

【0018】

音源１０３は、マイコン１０７による上記第１出力処理の制御により、マイコン１０７から入力する押鍵・離鍵指示１１４に基づいて発音開始と発音停止を制御しながら、マイコン１０７から入力する変更済ピッチデータ１１５に対応する基音周波数に対応するピッチを有する波形データを、ピッチ変更済第１波形データ１０９として出力する。この場合、音源１０３は、ピッチ変更済第１波形データ１０９をその後に接続されるボコーダ復調装置１０４を励起させるためのキャリア信号として発振する発振器として動作する。このため、ピッチ変更済第１波形データ１０９は、歌声波形データに含まれる各音の母音区間では、キャリア信号としてよく使用される三角波の倍音周波数成分又は任意の楽器の倍音周波数成分を含み、上記変更済ピッチデータ１１５に対応するピッチで繰り返す連続波形となる。

【0019】

また、歌声波形データの各音の発音タイミングの開始時等に存在する子音区間では、音源１０３が出力を行う前に、ノイズ発生器１０６が、マイコン１０７による前述したノイズ生成指示処理の制御により、マイコン１０７から入力する子音振幅データ１１３に対応する振幅を有する子音ノイズ（例えばホワイトノイズ）を生成し、子音区間波形データとしてピッチ変更済第１波形データ１０９に重畳させる。

【0020】

ボコーダ復調装置１０４は、マイコン１０７による前述した振幅変更処理の制御により、音源１０３が出力したピッチ変更済第１波形データ１０９から得られる複数の周波数帯域夫々に対応する複数の第１振幅データを、マイコン１０７から出力される、歌声波形データに含まれる各音の複数の周波数帯域夫々に対応する複数の第２振幅データ１１１に基づいて変更させる。ここで、ボコーダ復調装置１０４は、前述した歌声波形データの各音の子音区間ではピッチ変更済第１波形データ１０９に含まれる子音ノイズデータによって励起され、それに続く各音の母音区間では変更済ピッチデータ１１５に対応するピッチを有するピッチ変更済第１波形データ１０９によって励起されることになる。

【0021】

そして、ボコーダ復調装置１０４は、マイコン１０７から指定される第２出力処理として、上記複数の第１振幅データが夫々変更されることにより得られる第２波形データ１１６を、サウンドシステム１０５に出力し、そこから放音させる。

【0022】

スイッチ群１０８は、ユーザが楽曲のレッスン（教習）を行うときに、様々な指示をマイコン１０７に対して入力する入力部として機能する。

【0023】

マイコン１０７は、電子楽器１００の全体の制御を実行する。マイコン１０７は、特には図示しないＣＰＵ（中央演算処理装置）、ＲＯＭ（リードオンリメモリ）、ＲＡＭ（ランダムアクセスメモリ）、図１の１０１、１０２，１０３、１０４、１０６、及び１０８の各部に対する入出力を行うインタフェース回路、及びこれらを相互に接続するバス等を備えたマイクロコンピュータである。マイコン１０７では、ＣＰＵが、ＲＯＭに記憶された楽曲演奏処理プログラムを、ＲＡＭをワークメモリとして実行することにより、上述した楽曲演奏のための制御処理を実現する。

【0024】

以上の電子楽器１００によって、音源１０３が生成した歌唱する音声のピッチ変動のニュアンスが反映されたメロディ楽器音などのピッチ変更済第１波形データ１０９に対して人の歌声のニュアンスが付加された第２波形データ１１６を出力し放音することが可能となる。

【0025】

図２は、図１のボコーダ復調装置１０４の詳細構成を示すブロック図である。ボコーダ復調装置１０４は、図１の音源１０３又はノイズ発生器１０６が出力するピッチ変更済第１波形データ１０９をキャリア信号として入力し、複数の周波数帯域のそれぞれを通過させる複数のバンドパスフィルタ（ＢＰＦ＃１、ＢＰＦ＃２、ＢＰＦ＃３、・・・、ＢＰＦ＃ｎ）からなるバンドパスフィルタ群２０１を備える。

【0026】

また、ボコーダ復調装置１０４は、各バンドパスフィルタ（ＢＰＦ＃１、ＢＰＦ＃２、ＢＰＦ＃３、・・・、ＢＰＦ＃ｎ）の各出力である第１振幅データ２０４（＃１〜＃ｎ）に、マイコン１０７から入力する＃１〜＃ｎの各第２振幅データ１１１の値を乗算する複数の乗算器（×＃１〜×＃ｎ）からなる乗算器群２０２を備える。

【0027】

更に、ボコーダ復調装置１０４は、乗算器群２０２の各乗算器（×＃１〜×＃ｎ）の出力を加算して図１の第２波形データ１１６を出力する加算器２０３を備える。

【0028】

上述した図２のボコーダ復調装置１０４により、各第２振幅データ１１１に基づいてフィルタリング特性が制御されるバンドパスフィルタ群２０１によって、楽曲の歌唱音声に対応する音声スペクトルエンベロープ特性（フォルマント特性）を、入力されるピッチ変更済第１波形データ１０９に付加することが可能となる。

【0029】

図３は、図１のメモリ１０１のデータ構成例を示す図である。楽曲の歌詞音声の時間経過を例えば１０ｍｓｅｃ毎に区切った時間（ｔｉｍｅ）毎に、後述する図４のボコーダ変調装置４０１から出力される＃１、＃２、＃３、・・・、＃ｎの各第２振幅データ１１１（図１）が記憶される。また、上記時間経過毎に、楽譜上のメロディの各音の母音区間において例えば模範となるピッチに対して、実際にそのメロディを歌ったときの歌声波形データの各音のピッチのずれであるピッチ変動データ１１２が記憶される。更に、歌声波形データの各音の子音区間に対応する子音振幅データ１１３が記憶される。

【0030】

図４は、第２振幅データ群１１１、ピッチ変動データ１１２、及び子音振幅データ１１３を生成する音声変調装置４００のブロック図である。音声変調装置４００は、ボコーダ変調装置４０１、ピッチ検出器４０２、減算器４０３、及び子音検出器４０７を備える。

【0031】

ボコーダ変調装置４０１は、予め或る楽曲のメロディを歌唱させてマイクロフォンから得られる歌声波形データ４０４を入力して、第２振幅データ群１１１を生成し、図１のメモリ１０１に記憶させる。

【0032】

ピッチ検出器４０２は、上述のメロディの実際の歌唱に基づく歌声波形データ４０４から、各音の母音区間の基音周波数（ピッチ）４０６を抽出する。

【0033】

減算器４０３は、ピッチ検出器４０２が抽出した上述のメロディの実際の歌唱に基づく歌声波形データ４０４に含まれる各音の母音区間の基音周波数４０６から、上記メロディに含まれる各音の母音区間に対して予め設定されている例えば模範となる基音周波数４０５を減算することにより、ピッチ変動データ１１２の時系列を算出する。

【0034】

子音検出器４０７は、上記歌声波形データ４０４の各音が存在する区間であって、ピッチ検出器４０２が基本周波数４０６を検出しなかった区間を子音区間として判定し、その区間の平均振幅を算出し、その値を子音振幅データ１１３として出力する。

【0035】

図５は、図４のボコーダ変調装置４０１の詳細を示すブロック図である。ボコーダ変調装置４０１は、図４の歌声波形データ４０４を入力し、複数の周波数帯域のそれぞれを通過させる複数のバンドパスフィルタ（ＢＰＦ＃１、ＢＰＦ＃２、ＢＰＦ＃３、・・・、ＢＰＦ＃ｎ）からなるバンドパスフィルタ群５０１を備える。このバンドパスフィルタ群５０１は、図１のボコーダ復調装置１０４の図２のバンドパスフィルタ群２０１と同じ特性のものである。

【0036】

また、ボコーダ変調装置４０１は、複数のエンベロープフォロア（ＥＦ＃１、ＥＦ＃２、ＥＦ＃３、・・・、ＥＦ＃ｎ）からなるエンベロープフォロア群５０２を備える。各エンベロープフォロア（ＥＦ＃１、ＥＦ＃２、ＥＦ＃３、・・・、ＥＦ＃ｎ）は、各バンドパスフィルタ（ＢＰＦ＃１、ＢＰＦ＃２、ＢＰＦ＃３、・・・、ＢＰＦ＃ｎ）の各出力の時間変化のエンベロープデータをそれぞれ抽出し、それぞれ一定時間（例えば１０ｍｓｅｃ（ミリ秒））毎にサンプリングして、各第２振幅データ１１１（＃１〜＃ｎ）として出力する。エンベロープフォロア（ＥＦ＃１、ＥＦ＃２、ＥＦ＃３、・・・、ＥＦ＃ｎ）は例えば、各バンドパスフィルタ（ＢＰＦ＃１、ＢＰＦ＃２、ＢＰＦ＃３、・・・、ＢＰＦ＃ｎ）の各出力の振幅の絶対値を算出し、各算出値をそれぞれ入力して時間変化のエンベロープ特性を抽出するために十分に低い周波数成分のみを通過させるローパスフィルタである。

【0037】

図６は、図４の音声変調装置４００におけるピッチ変動データ１１２の生成のしくみを説明する図である。例えば実際に人間が歌唱した歌声波形データ４０４の各音の母音区間の基本周波数は、楽譜が示すメロディの各音の母音区間の例えば模範となる基音周波数４０５に対して、周波数が変動していて、それが歌い手の個性や心地よさになっている。そこで、本実施形態では、予め得られているメロディに含まれる各音の母音区間の基音周波数４０５と、メロディが実際に歌唱されて得られた歌声波形データ４０４からピッチ検出器４０２により検出された各音の母音区間の基音周波数４０６との差分が算出されることで、ピッチ変動データ１１２が生成される。
上記歌声波形データ４０４は、演奏者が操作子を指定して演奏する前に、予め人間が歌唱した歌声をメモリ１０１に記憶したものでもよいが、音声合成技術を用いて機械が出力した歌声データをメモリ１０１に記憶したものでもよい。また、上記歌声波形データ４０４は、演奏者が操作子を指定して演奏しながら歌唱する場合は、図示しないマイクにより演奏者が歌う歌声をリアルタイムに取得し、メモリ１０１に記憶したものでもよい。

【0038】

図７は、図１のマイコン１０７が実行する電子楽器の楽音発生処理の例を示すフローチャートである。この楽音発生処理は、前述したように、マイコン１０７において、内部のＣＰＵが、内部のＲＯＭに記憶された図７のフローチャートとして例示される楽音発生処理プログラムをＲＡＭをワークメモリとして実行する動作として実現される。

【0039】

ユーザが図１のスイッチ群１０８からレッスンの開始を指示すると、図７のフローチャートの処理が開始され、鍵盤処理（ステップＳ７０１）、ピッチ更新処理（ステップＳ７０２）、及びボコーダ復調処理（ステップＳ７０３）が、繰り返し実行される。ユーザが図１のスイッチ群１０８からレッスンの終了を指示する図７のフローチャートの処理が終了する。

【0040】

図８は、図７のステップＳ７０１の鍵盤処理の詳細例を示すフローチャートである。まず、図１の鍵盤操作子１０２において、押鍵があったか否かが判定される（ステップＳ８０１）。

【0041】

ステップＳ８０１の判定がＹＥＳならば、押鍵された音高の演奏指定ピッチデータ１１０に対してピッチ変動データ１１２を加算して得られる変更済ピッチデータ１１５が示すピッチを有するピッチ変更済第１波形データ１０９を出力するよう、図１の音源１０３に発音開始（ノートオン）指示が出力される（ステップＳ８０２）。ステップＳ８０１の判定がＮＯならば、ステップＳ８０２の処理はスキップされる。

【0042】

次に、離鍵があったか否かが判定される（ステップＳ８０３）。

【0043】

ステップＳ８０３の判定がＹＥＳならば、離鍵された音高のキャリア波形を消音するよう、図１の音源１０３に発音終了（ノートオフ）指示が出力される。

【0044】

その後、図８のフローチャートで例示される図７のステップＳ７０１の鍵盤処理が終了する。

【0045】

図９は、図７のステップＳ７０２のピッチ更新処理の詳細例を示すフローチャートである。この処理においては、楽曲の開始時を起点とする時間経過（図５のｔｉｍｅ）に従い、メモリ１０１から、ピッチ変動データ１１２（図５参照）が読み出され、押鍵されている音高の演奏指定ピッチデータ１１０に加算されることにより、変更済ピッチデータ１１５が生成される（ステップＳ９０１）。

【0046】

次に、変更済ピッチデータ１１５によるピッチ変更指示が、音源１０３に対して指示される（ステップＳ９０２）。その後、図９のフローチャートで例示される図７のステップＳ７０２のピッチ更新処理が終了する。

【0047】

図１０は、図７のステップＳ７０３のボコーダ復調処理の詳細例を示すフローチャートである。図１の楽曲の進行時間に該当する時間に対応する各周波数帯域の第２振幅データ１１１の組（＃１〜＃ｎ）（図３参照）が読み出され、図１のボコーダ復調装置１０４内の図２の乗算器群２０２内の各乗算器（×＃１〜×＃ｎ）に出力される（ステップＳ１００１）。なお、楽曲の進行時間は例えば、ユーザがレッスン開始を指示した時点から、マイコン１０７が内蔵するタイマによって計時されている。ここで、上記進行時間に該当する時間が図５に例示されるメモリ１０１に記憶されていない場合には、上記進行時間の時間値の前後のメモリ１０１に記憶されている時間の振幅データからの補間演算により、上記進行時間の時間値に対応する振幅データが演算されてよい。

【0048】

ボコーダ復調装置１０４内の加算器２０３に対して、図２の乗算器群２０２内の各乗算器の出力を加算させ、その加算結果を第２波形データ１１６として出力させる（ステップＳ１００２）。その後、図１０のフローチャートで例示される図７のステップＳ７０３のボコーダ復調処理が終了する。

【0049】

以上説明した実施形態により、図１のピッチ変更済第１波形データ１０９に対してボコーダ復調装置１０４によってメロディを歌う音声から得られる歌声波形データ４０４におけるピッチ変動のニュアンスを反映させた第２波形データ１１６を得ることが可能となる。このとき、入力音声の波形（フォルマント）の変化だけではなく、そのピッチ変動も再現できるため、より人間の歌唱音声に近い表現力を持つ音源装置とすることができる。

【0050】

また、本実施形態では、歌唱音声を鍵盤操作子で演奏することを目的とし、声のフォルマンとを再現するためのフィルタ群（分析フィルタ、声道分析フィルタ）を用いているが、管楽器や弦楽器等の自然楽器をデジタルフィルタ群でモデリングした構成に応用すれば、鍵盤操作子の操作に合わせて、管楽器や弦楽器のピッチ変動を模倣することにより、自然楽器の表現により近い演奏が可能になる。

【0051】

歌詞音声は、予め録音された歌唱音声をＰＣＭ（パルスコード変調）データで内蔵し、その音声を発音させる方法も考えられるが、この方式では音声データが大きくなることや、演奏者が弾き間違えたときに、間違えたなりの音高で発音させることが比較的難しい。また、歌詞データを内蔵し、そのデータを元に音声合成された音声信号を発音させる方法があるが、この方式の欠点として、音声合成には多くの計算量とデータが必要となるため、リアルタイムの制御が困難である。

【0052】

本実施形態によるボコーダ方式で合成するものとすることで、周波数毎の振幅変化を予め分析しておくことで、分析フィルタ群を不要とできるので、ＰＣＭデータで内蔵しておくよりも、回路規模や計算量、データ量を削減することができる。更に、間違った鍵盤操作子１０２を弾いた場合、歌詞音声をＰＣＭ音声データで保持していた場合は、その音声を間違った鍵盤操作子で指定されるピッチに合わせるためのピッチ変換を行う必要があるが、ボコーダ方式にすることで、ピッチ変換もキャリアのピッチを変えるだけなので、容易であるという利点もある。

【0053】

図１のボコーダ復調装置１０４は、マイコン１０７との協調制御によって、メモリ１０１から音声スペクトルエンベロープデータの時系列を順次読み出して入力しながら、ピッチ変更済第１波形データ１０９に対して、音声スペクトルエンベロープ特性を有するフィルタリング処理を実行し、このフィルタリング処理の実行された第２波形データ１１６を出力するフィルタ部として機能する。ここで、フィルタ部は、ボコーダ復調装置１０４のほかに、線形予測分析又はスペクトル最尤推定に基づいて得られる線形予測合成フィルタ、偏相関分析に基づいて得られるＰＡＲＣＯＲ合成フィルタ、又は線スペクトル対分析に基づいて得られるＬＳＰ合成フィルタなどのデジタルフィルタによって実現することも可能である。このとき、音声スペクトルエンベロープデータは、上述のデジタルフィルタのための線形予測係数データ、ＰＡＲＣＯＲ係数データ、又はＬＳＰ係数データのいずれかのパラメータ群であってよい。

【0054】

上述の実施形態では、楽曲の歌詞音声に対応する音声スペクトルエンベロープデータ及びピッチ変動データは、メモリ１０１に予め記憶させたが、ユーザの演奏操作に合わせてユーザが発声する楽曲の歌詞音声から音声スペクトルエンベロープデータ及びピッチ変動データが、リアルタイムで入力されるようにしてもよい。

【0055】

また、上述の実施形態では、押鍵毎に、その音高にピッチ変動データが加算されるようにしたが、押鍵と押鍵の間の音符の移行期間で、ピッチ変動データが適用されて発音が実施されるようにしてもよい。

【0056】

更に、上述の実施形態では、マイコン１０７は、例えば図９のピッチ更新処理において、押鍵されている音高の演奏指定ピッチデータ１１０にメモリ１０１から読み出したピッチ変動データ１１２そのものを加算することにより、変更済ピッチデータ１１５を生成した。このとき、マイコン１０７は、ピッチ変動データ１１２そのものではなく、例えばユーザによるスイッチ群１０８（図１）の操作に基づいて、ピッチ変動データ１１２に所定の係数を乗じた結果を演奏指定ピッチデータ１１０に加算するようにしてもよい。このときの係数の値が例えば「１」であれば、音源１０３から出力されるピッチ変更済第１波形データ１０９には、実際の歌唱に基づくピッチ変動がそのまま反映され、実際の歌唱と同じ抑揚が付加される。一方、上記係数の値が例えば１以上であれば、ピッチ変更済第１波形データ１０９には、実際の歌唱よりも大きなピッチ変動が反映され、実際の歌唱よりも感情豊かな抑揚を付加することができる。

【0057】

その他、本発明は上述した実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、上述した実施形態で実行される機能は可能な限り適宜組み合わせて実施しても良い。上述した実施形態には種々の段階が含まれており、開示される複数の構成要件による適宜の組み合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、効果が得られるのであれば、この構成要件が削除された構成が発明として抽出され得る。

【0058】

以上の実施形態に関して、更に以下の付記を開示する。
（付記１）
指定される複数の操作子と、
制御部と、を備え、前記制御部は、
指定された操作子が対応している第１波形データのピッチを、メロディに含まれる各音の基音周波数と、歌声波形データに含まれる各音の基音周波数との差を示すピッチ変動データに基づいて変更するピッチ変更処理と、
前記ピッチ変更処理により前記第１波形データのピッチが変更されたピッチ変更済第１波形データを音源に出力させる第１出力処理と、
前記第１出力処理により前記音源に出力させた前記ピッチ変更済第１波形データから得られる複数の周波数帯域夫々に対応する複数の第１振幅データを、前記歌声波形データから得られる前記複数の周波数帯域夫々に対応する複数の第２振幅データに基づいて変更させる振幅変更処理と、
前記振幅変更処理により前記複数の第１振幅データが夫々変更されることにより得られる第２波形データを出力させる第２出力処理と、を実行する電子楽器。
（付記２）
前記歌声波形データは、前記メロディに含まれる各音に合わせて歌詞が歌われた歌声の波形データである、ことを特徴とする付記１に記載の電子楽器。
（付記３）
前記歌声波形データは、前記複数の操作子のうちの少なくともいずれか１つの操作子の指定に合わせて演奏者が歌うことにより得られる歌声の波形データであり、
前記制御部は、前記複数の操作子のうちの少なくともいずれか１つの操作子の指定に応じて、前記演奏者が歌う前記歌声に基づいた前記第２波形データを前記第２出力処理により出力させる、ことを特徴とする付記１に記載の電子楽器。
（付記４）
前記第２波形データは、前記複数の第１振幅データと、前記複数の第２振幅データの値とをそれぞれ乗算し、前記それぞれ乗算して得られる各値を加算することにより得られることを特徴とする付記１乃至３の何れかに記載の電子楽器。
（付記５）
前記ピッチ変動データは、演奏者が指定する係数に応じて変更可能であることを特徴とする付記１乃至４の何れかに記載の電子楽器。
（付記６）
前記ピッチ変更済第１波形データは、前記歌声波形データに含まれる各音の子音区間において前記振幅変更処理に入力される子音区間波形データを含むことを特徴とする付記１乃至５の何れかに記載の電子楽器。
（付記７）
指定される複数の操作子と、制御部とを備えた電子楽器において、前記制御部に、
指定された操作子が対応している第１波形データのピッチを、メロディに含まれる各音の基音周波数と、歌声波形データに含まれる各音の基音周波数との差を示すピッチ変動データに基づいて変更するピッチ変更処理と、
前記ピッチ変更処理により前記第１波形データのピッチが変更されたピッチ変更済第１波形データを音源に出力させる第１出力処理と、
前記第１出力処理により前記音源に出力させた前記ピッチ変更済第１波形データから得られる複数の周波数帯域夫々に対応する複数の第１振幅データを、前記歌声波形データから得られる前記複数の周波数帯域夫々に対応する複数の第２振幅データに基づいて変更させる振幅変更処理と、
前記振幅変更処理により前記複数の第１振幅データが夫々変更されることにより得られる第２波形データを出力させる第２出力処理と、を実行させる電子楽器の楽音発生方法。
（付記８）
指定される複数の操作子と、制御部とを備えた電子楽器を制御するコンピュータに、
指定された操作子が対応している第１波形データのピッチを、メロディに含まれる各音の基音周波数と、歌声波形データに含まれる各音の基音周波数との差を示すピッチ変動データに基づいて変更するピッチ変更処理と、
前記ピッチ変更処理により前記第１波形データのピッチが変更されたピッチ変更済第１波形データを音源に出力させる第１出力処理と、
前記第１出力処理により前記音源に出力させた前記ピッチ変更済第１波形データから得られる複数の周波数帯域夫々に対応する複数の第１振幅データを、前記歌声波形データから得られる前記複数の周波数帯域夫々に対応する複数の第２振幅データに基づいて変更させる振幅変更処理と、
前記振幅変更処理により前記複数の第１振幅データが夫々変更されることにより得られる第２波形データを出力させる第２出力処理と、
を実行させるためのプログラム。

【符号の説明】

【0059】

１００ 電子楽器
１０１ メモリ
１０２ 鍵盤操作子
１０３ 音源
１０４ ボコーダ復調装置
１０５ サウンドシステム
１０７ マイコン
１０８ スイッチ群
１０９ ピッチ変更済第１波形データ
１１０ 演奏指定ピッチ
１１１ 第２振幅データ
１１２ ピッチ変動データ
１１３ 子音振幅データ
１１４ 押鍵・離鍵指示
１１５ 変更済ピッチデータ
１１６ 第２波形データ
２０１、５０１ バンドパスフィルタ群
２０２ 乗算器群
２０３ 加算器
２０４ 第１振幅データ
４００ 音声変調装置
４０１ ボコーダ変調装置
４０２ ピッチ検出器
４０３ 減算器
４０４ 歌声波形データ
４０５ メロディに含まれる各音の基音周波数
４０６ 歌声波形データに含まれる各音の基音周波数
４０７ 子音検出器
５０２ エンベロープフォロア群

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】