特開 2023-181433 電子機器、電子楽器、方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023181433

(43)【公開日】2023-12-21

(54)【発明の名称】電子機器、電子楽器、方法及びプログラム

(51)【国際特許分類】

   G10H 1/00 20060101AFI20231214BHJP

   G10H 1/18 20060101ALI20231214BHJP

   G10L 13/00 20060101ALI20231214BHJP

   G10L 13/033 20130101ALI20231214BHJP

【ＦＩ】

G10H1/00 102Z

G10H1/18 Z

G10L13/00 100Y

G10L13/033 102B

【審査請求】有

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2023187620

(22)【出願日】2023-11-01

(62)【分割の表示】P 2022183031の分割

【原出願日】2019-12-23

(71)【出願人】

【識別番号】000001443

【氏名又は名称】カシオ計算機株式会社

(74)【代理人】

【識別番号】110004185

【氏名又は名称】インフォート弁理士法人

(72)【発明者】

【氏名】段城 真

(72)【発明者】

【氏名】太田 文章

(72)【発明者】

【氏名】中村 厚士

(57)【要約】

【課題】演奏にかかる歌詞進行を適切に制御する電子楽器、方法及びプログラムを提供する。
【解決手段】電子楽器の制御システム２００は、互いに異なる音高データが夫々対応付けられている複数の第１演奏操作子と、ペダルを備える。ペダルへの操作が検出されていない状態で、第１演奏操作子への第１ユーザ操作が検出され、第１ユーザ操作後に第２ユーザ操作が検出された場合に、第１ユーザ操作に応じて、第１音符に対応する第１歌詞に応じた歌声の発音を指示するとともに、第２ユーザ操作に応じて、第１音符の次の第２音符に対応する第２歌詞に応じた歌声の発音を指示する。ペダルへの操作が検出されている状態で、第１演奏操作子への第１ユーザ操作が検出され、第１ユーザ操作後に第２ユーザ操作が検出された場合に、第１ユーザ操作に応じて、第１歌詞に応じた歌声の発音を指示するとともに、第２ユーザ操作に応じて、第２歌詞に応じた歌声の発音を指示しない。
【選択図】図２

【特許請求の範囲】

【請求項1】

伴奏データの再生を指示し、
第２演奏操作子への操作が検出されていない状態における第１演奏操作子へのユーザ操作に応じて、歌詞再生位置を進行させ、
前記第２演奏操作子への操作が検出されている状態における前記第１演奏操作子へのユーザ操作に応じて、前記歌詞再生位置を進行させないように制御し、
前記第１演奏操作子へのユーザ操作が検出されている状態から検出されていない状態への変化を検出した際に、前記第２演奏操作子への操作が検出されておらず、かついずれの前記第１演奏操作子へのユーザ操作も検出されない場合に、次のユーザ操作に応じて発音させる音声の前記歌詞再生位置を、前記伴奏データにおける再生位置に応じた位置に変更する、
制御部を備える電子機器。

【請求項2】

前記第１演奏操作子は、鍵盤操作子を含み、
前記第２演奏操作子は、ペダル操作子を含む、
請求項１に記載の電子機器。

【請求項3】

前記制御部は、
操作された前記第１演奏操作子に応じた音高での発音を指示する、
請求項１又は２に記載の電子機器。

【請求項4】

前記音声は、歌詞に対応する歌声データを学習済みモデルに入力することにより、前記学習済みモデルが出力した音響特徴量データに基づいて、生成される、
請求項１乃至３のいずれか１項に記載の電子機器。

【請求項5】

前記学習済みモデルは、或る歌い手の歌声データを教師データとして機械学習することにより生成されており、歌詞のデータの入力に応じて、前記或る歌い手の歌声を推論した歌声データを出力する、
請求項４に記載の電子機器。

【請求項6】

請求項１に記載の電子機器と、
前記第１演奏操作子と、
を含む電子楽器。

【請求項7】

電子機器の少なくとも１つのプロセッサが、請求項１乃至５のいずれか１項に記載の処理を実行する方法。

【請求項8】

電子機器の少なくとも１つのプロセッサに、請求項１乃至５のいずれか１項に記載の処理を実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、電子機器、電子楽器、方法及びプログラムに関する。

【背景技術】

【0002】

近年、合成音声の利用シーンが拡大している。そうした中、自動演奏だけではなく、ユーザ（演奏者）の押鍵に応じて歌詞を進行させ、歌詞に対応した合成音声を出力できる電子楽器があれば、より柔軟な合成音声の表現が可能となり好ましい。

【0003】

例えば、特許文献１においては、鍵盤などを用いたユーザ操作に基づく演奏に同期させて歌詞を進行させる技術が開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特許第４７３５５４４号

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、鍵盤などによって複数音の同時発音ができる場合に、例えば、単純に鍵が押されるたびに歌詞を進行させると、複数の鍵が同時に押される場合に、歌詞が進みすぎてしまう。

【0006】

そこで本開示は、演奏にかかる歌詞進行を適切に制御できる電子楽器、方法及びプログラムを提供することを目的の１つとする。

【課題を解決するための手段】

【0007】

本開示の一態様に係る電子機器は、伴奏データの再生を指示し、第２演奏操作子への操作が検出されていない状態における第１演奏操作子へのユーザ操作に応じて、歌詞再生位置を進行させ、前記第２演奏操作子への操作が検出されている状態における前記第１演奏操作子へのユーザ操作に応じて、前記歌詞再生位置を進行させないように制御し、前記第１演奏操作子へのユーザ操作が検出されている状態から検出されていない状態への変化を検出した際に、前記第２演奏操作子への操作が検出されておらず、かついずれの前記第１演奏操作子へのユーザ操作も検出されない場合に、次のユーザ操作に応じて発音させる音声の前記歌詞再生位置を、前記伴奏データにおける再生位置に応じた位置に変更する、制御部を備える。

【発明の効果】

【0008】

本開示の一態様によれば、演奏にかかる歌詞進行を適切に制御できる。

【図面の簡単な説明】

【0009】

【図1】図１は、一実施形態にかかる電子楽器１０の外観の一例を示す図である。

【図2】図２は、一実施形態にかかる電子楽器１０の制御システム２００のハードウェア構成の一例を示す図である。

【図3】図３は、一実施形態にかかる音声学習部３０１の構成例を示す図である。

【図4】図４は、一実施形態にかかる波形データ出力部３０２の一例を示す図である。

【図5】図５は、一実施形態にかかる波形データ出力部３０２の別の一例を示す図である。

【図6】図６は、一実施形態に係る歌詞進行制御方法のフローチャートの一例を示す図である。

【図7】図７は、ｎ番目の歌声データの発音処理のフローチャートの一例を示す図である。

【図8】図８は、歌詞進行判定処理を用いて制御された歌詞進行の一例を示す図である。

【図9】図９は、同期処理のフローチャートの一例を示す図である。

【発明を実施するための形態】

【0010】

もともと１音節対１音符で作曲されている部分（シラブル様式）に、２つ以上の音符を用いて歌うことは、メリスマ唱法（メリスマ）とも呼ばれる。メリスマ唱法は、フェイク、こぶしなどで読み替えられてもよい。

【0011】

本発明者らは、歌声合成音源を搭載する電子楽器においてメリスマ唱法を演奏で実現するにあたって、直前の母音を維持して音高を自由に変化させることが、メリスマの特徴であることに着目し、本開示の歌詞進行制御方法を着想した。

【0012】

本開示の一態様によれば、メリスマ中は歌詞を進行させないように制御することができる。また、同時に複数鍵を押鍵する場合であっても、適切に歌詞の進行有無を制御できる。

【0013】

以下、本開示の実施形態について添付図面を参照して詳細に説明する。以下の説明では、同一の部には同一の符号が付される。同一の部は名称、機能などが同じであるため、詳細な説明は繰り返さない。

【0014】

なお、本開示において、「歌詞の進行」、「歌詞の位置の進行」、「歌唱位置の進行」などは、互いに読み替えられてもよい。また、本開示において、「歌詞を進行させない」、「歌詞の進行制御を行わない」、「歌詞をホールドする」、「歌詞をサスペンドする」などは、互いに読み替えられてもよい。

【0015】

（電子楽器）
図１は、一実施形態にかかる電子楽器１０の外観の一例を示す図である。電子楽器１０は、スイッチ（ボタン）パネル１４０ｂ、鍵盤１４０ｋ、ペダル１４０ｐ、ディスプレイ１５０ｄ、スピーカー１５０ｓなどを搭載してもよい。

【0016】

電子楽器１０は、鍵盤、スイッチなどの操作子を介してユーザからの入力を受け付け、演奏、歌詞進行などを制御するための装置である。電子楽器１０は、ＭＩＤＩ（Musical Instrument Digital Interface）データなどの演奏情報に応じた音を発生する機能を有する装置であってもよい。当該装置は、電子楽器（電子ピアノ、シンセサイザーなど）であってもよいし、センサなどを搭載して上述の操作子の機能を有するように構成されたアナログの楽器であってもよい。

【0017】

スイッチパネル１４０ｂは、音量の指定、音源、音色などの設定、ソング（伴奏）の選曲（伴奏）、ソング再生開始／停止、ソング再生の設定（テンポなど）などを操作するためのスイッチを含んでもよい。

【0018】

鍵盤１４０ｋは、演奏操作子としての複数の鍵を有してもよい。ペダル１４０ｐは、当該ペダルを踏んでいる間、押さえた鍵盤の音を伸ばす機能を有するサステインペダルであってもよいし、音色、音量などを加工するエフェクターを操作するためのペダルであってもよい。

【0019】

なお、本開示において、サステインペダル、ペダル、フットスイッチ、コントローラ（操作子）、スイッチ、ボタン、タッチパネルなどは、互いに読み替えられてもよい。本開示におけるペダルの踏み込みは、コントローラの操作で読み替えられてもよい。

【0020】

鍵は、演奏操作子、音高操作子、音色操作子、直接操作子、第１の操作子などと呼ばれてもよい。ペダルは、非演奏操作子、非音高操作子、非音色操作子、間接操作子、第２の操作子などと呼ばれてもよい。

【0021】

ディスプレイ１５０ｄは、歌詞、楽譜、各種設定情報などを表示してもよい。スピーカー１５０ｓは、演奏により生成された音を放音するために用いられてもよい。

【0022】

なお、電子楽器１０は、ＭＩＤＩメッセージ（イベント）及びOpen Sound Control（ＯＳＣ）メッセージの少なくとも一方を生成したり、変換したりすることができてもよい。

【0023】

電子楽器１０は、制御装置１０、歌詞進行制御装置１０などと呼ばれてもよい。

【0024】

電子楽器１０は、有線及び無線（例えば、Long Term Evolution（ＬＴＥ）、5th generation mobile communication system New Radio（５Ｇ ＮＲ）、Ｗｉ－Ｆｉ（登録商標）など）の少なくとも一方を介して、ネットワーク（インターネットなど）と通信してもよい。

【0025】

電子楽器１０は、進行の制御対象となる歌詞に関する歌声データ（歌詞テキストデータ、歌詞情報などと呼ばれてもよい）を、予め保持してもよいし、ネットワークを介して送信及び／又は受信してもよい。歌声データは、楽譜記述言語（例えば、ＭｕｓｉｃＸＭＬ）によって記載されたテキストであってもよいし、ＭＩＤＩデータの保存形式（例えば、Standard MIDI File（ＳＭＦ）フォーマット）で表記されてもよいし、通常のテキストファイルで与えられるテキストであってもよい。

【0026】

なお、電子楽器１０は、当該電子楽器１０に具備されるマイクなどを介してユーザがリアルタイムに歌う内容を取得し、これに音声認識処理を適用して得られるテキストデータを歌声データとして取得してもよい。

【0027】

図２は、一実施形態にかかる電子楽器１０の制御システム２００のハードウェア構成の一例を示す図である。

【0028】

中央処理装置（Central Processing Unit：ＣＰＵ）２０１、ＲＯＭ（リードオンリーメモリ）２０２、ＲＡＭ（ランダムアクセスメモリ）２０３、波形データ出力部２１１、図１のスイッチ（ボタン）パネル１４０ｂ、鍵盤１４０ｋ、ペダル１４０ｐが接続されるキースキャナ２０６、及び図１のディスプレイ１５０ｄの一例としてのＬＣＤ（Liquid Crystal Display）が接続されるＬＣＤコントローラ２０８が、それぞれシステムバス２０９に接続されている。

【0029】

ＣＰＵ２０１には、自動演奏のシーケンスを制御するためのタイマ２１０が接続されてもよい。ＣＰＵ２０１は、プロセッサと呼ばれてもよく、周辺回路とのインターフェース、制御回路、演算回路、レジスタなどを含んでもよい。

【0030】

各装置における機能は、プロセッサ１００１、メモリ１００２などのハードウェア上に所定のソフトウェア（プログラム）を読み込ませることによって、プロセッサ１００１が演算を行い、通信装置１００４による通信、メモリ１００２及びストレージ１００３におけるデータの読み出し及び／又は書き込みなどを制御することによって実現されてもよい。

【0031】

ＣＰＵ２０１は、ＲＡＭ２０３をワークメモリとして使用しながらＲＯＭ２０２に記憶された制御プログラムを実行することにより、図１の電子楽器１０の制御動作を実行する。また、ＲＯＭ２０２は、上記制御プログラム及び各種固定データのほか、歌声データ、伴奏データ、これらを含む曲（ソング）データなどを記憶してもよい。

【0032】

ＣＰＵ２０１には、本実施形態で使用するタイマ２１０が実装されており、例えば電子楽器１０における自動演奏の進行をカウントする。

【0033】

波形データ出力部２１１は、音源ＬＳＩ（大規模集積回路）２０４、音声合成ＬＳＩ２０５などを含んでもよい。音源ＬＳＩ２０４と音声合成ＬＳＩ２０５は、１つのＬＳＩに統合されてもよい。

【0034】

波形データ出力部２１１から出力される歌声波形データ２１７及びソング波形データ２１８は、それぞれＤ／Ａコンバータ２１２及び２１３によってアナログ歌声音声出力信号及びアナログ楽音出力信号に変換される。アナログ楽音出力信号及びアナログ歌声音声出力信号は、ミキサ２１４で混合され、その混合信号がアンプ２１５で増幅された後に、スピーカー１５０ｓ又は出力端子から出力されてもよい。

【0035】

キースキャナ（スキャナ）２０６は、図１の鍵盤１４０ｋの押鍵／離鍵状態、スイッチパネル１４０ｂのスイッチ操作状態、ペダル１４０ｐのペダル操作状態などを定常的に走査し、ＣＰＵ２０１に割り込みを掛けて状態変化を伝える。

【0036】

ＬＣＤコントローラ２０８は、ディスプレイ１５０ｄの一例であるＬＣＤの表示状態を制御するＩＣ（集積回路）である。

【0037】

なお、当該システム構成は一例であり、これに限られない。例えば、各回路が含まれる数は、これに限られない。電子楽器１０は、一部の回路（機構）を含まない構成を有してもよいし、１つの回路の機能が複数の回路により実現される構成を有してもよい。複数の回路の機能が１つの回路により実現される構成を有してもよい。

【0038】

また、電子楽器１０は、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ：Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、ＦＰＧＡ（Field Programmable Gate Array）などのハードウェアを含んで構成されてもよく、当該ハードウェアにより、各機能ブロックの一部又は全てが実現されてもよい。例えば、ＣＰＵ２０１は、これらのハードウェアの少なくとも１つで実装されてもよい。

【0039】

＜音響モデルの生成＞
図３は、一実施形態にかかる音声学習部３０１の構成の一例を示す図である。音声学習部３０１は、図１の電子楽器１０とは別に外部に存在するサーバコンピュータ３００が実行する一機能として実装されてもよい。なお、音声学習部３０１は、ＣＰＵ２０１、音声合成ＬＳＩ２０５などが実行する一機能として電子楽器１０に内蔵されてもよい。

【0040】

本開示における音声合成を実現する音声学習部３０１及び後述の波形データ出力部３０２は、例えば、深層学習に基づく統計的音声合成技術に基づいて実装されてもよい。

【0041】

音声学習部３０１は、学習用テキスト解析部３０３と学習用音響特徴量抽出部３０４とモデル学習部３０５とを含んでもよい。

【0042】

音声学習部３０１において、学習用歌声音声データ３１２としては、例えば適当なジャンルの複数の歌唱曲を、ある歌い手が歌った音声を録音したものが使用される。また、学習用歌声データ３１１としては、各歌唱曲の歌詞テキストが用意される。

【0043】

学習用テキスト解析部３０３は、歌詞テキストを含む学習用歌声データ３１１を入力してそのデータを解析する。この結果、学習用テキスト解析部３０３は、学習用歌声データ３１１に対応する音素、音高等を表現する離散数値系列である学習用言語特徴量系列３１３を推定して出力する。

【0044】

学習用音響特徴量抽出部３０４は、上記学習用歌声データ３１１の入力に合わせてその学習用歌声データ３１１に対応する歌詞テキストを或る歌い手が歌うことによりマイク等を介して集録された学習用歌声音声データ３１２を入力して分析する。この結果、学習用音響特徴量抽出部３０４は、学習用歌声音声データ３１２に対応する音声の特徴を表す学習用音響特徴量系列３１４を抽出して出力する。

【0045】

本開示において、学習用音響特徴量系列３１４や、後述する音響特徴量系列３１７に対応する音響特徴量系列は、人間の声道をモデル化した音響特徴量データ（フォルマント情報、スペクトル情報などと呼ばれてもよい）と、人間の声帯をモデル化した声帯音源データ（音源情報と呼ばれてもよい）とを含む。スペクトル情報としては、例えば、メルケプストラム、線スペクトル対（Line Spectral Pairs：ＬＳＰ）等を採用できる。音源情報としては、人間の音声のピッチ周波数を示す基本周波数（Ｆ０）及びパワー値を採用できる。

【0046】

モデル学習部３０５は、学習用言語特徴量系列３１３から、学習用音響特徴量系列３１４が生成される確率を最大にするような音響モデルを、機械学習により推定する。即ち、テキストである言語特徴量系列と音声である音響特徴量系列との関係が、音響モデルという統計モデルによって表現される。モデル学習部３０５は、機械学習を行った結果算出される音響モデルを表現するモデルパラメータを、学習結果３１５として出力する。したがって、当該音響モデルは、学習済みモデルに該当する。

【0047】

学習結果３１５（モデルパラメータ）によって表現される音響モデルとして、ＨＭＭ（Hidden Markov Model：隠れマルコフモデル）を用いてもよい。

【0048】

ある歌唱者があるメロディーにそった歌詞を発声する際、声帯の振動や声道特性の歌声の特徴パラメータがどのような時間変化をしながら発声されるか、ということが、ＨＭＭ音響モデルによって学習されてもよい。より具体的には、ＨＭＭ音響モデルは、学習用の歌声データから求めたスペクトル、基本周波数、およびそれらの時間構造を音素単位でモデル化したものであってもよい。

【0049】

まず、ＨＭＭ音響モデルが採用される図３の音声学習部３０１の処理について説明する。音声学習部３０１内のモデル学習部３０５は、学習用テキスト解析部３０３が出力する学習用言語特徴量系列３１３と、学習用音響特徴量抽出部３０４が出力する上記学習用音響特徴量系列３１４とを入力することにより、尤度が最大となるＨＭＭ音響モデルの学習を行ってもよい。

【0050】

歌声音声のスペクトルパラメータは、連続ＨＭＭによってモデル化することができる。一方、対数基本周波数（Ｆ０）は有声区間では連続値をとり、無声区間では値を持たない可変次元の時間系列信号であるため、通常の連続ＨＭＭや離散ＨＭＭで直接モデル化することはできない。そこで、可変次元に対応した多空間上の確率分布に基づくＨＭＭであるＭＳＤ－ＨＭＭ（Multi-Space probability Distribution HMM）を用い、スペクトルパラメータとしてメルケプストラムを多次元ガウス分布、対数基本周波数（Ｆ０）の有声音を１次元空間、無声音を０次元空間のガウス分布として同時にモデル化する。

【0051】

また、歌声を構成する音素の特徴は、音響的な特徴は同一の音素であっても、様々な要因の影響を受けて変動することが知られている。例えば、基本的な音韻単位である音素のスペクトルや対数基本周波数（Ｆ０）は、歌唱スタイルやテンポ、或いは、前後の歌詞や音高等によって異なる。このような音響特徴量に影響を与える要因のことをコンテキストと呼ぶ。

【0052】

一実施形態の統計的音声合成処理では、音声の音響的な特徴を精度良くモデル化するために、コンテキストを考慮したＨＭＭ音響モデル（コンテキスト依存モデル）を採用してもよい。具体的には、学習用テキスト解析部３０３は、フレーム毎の音素、音高だけでなく、直前、直後の音素、現在位置、直前、直後のビブラート、アクセントなども考慮した学習用言語特徴量系列３１３を出力してもよい。更に、コンテキストの組合せの効率化のために、決定木に基づくコンテキストクラスタリングが用いられてよい。

【0053】

例えば、モデル学習部３０５は、学習用テキスト解析部３０３が学習用歌声データ３１１から抽出した状態継続長に関する多数の音素のコンテキストに対応する学習用言語特徴量系列３１３から、状態継続長を決定するための状態継続長決定木を、学習結果３１５として生成してもよい。

【0054】

また、モデル学習部３０５は、例えば、学習用音響特徴量抽出部３０４が学習用歌声音声データ３１２から抽出したメルケプストラムパラメータに関する多数の音素に対応する学習用音響特徴量系列３１４から、メルケプストラムパラメータを決定するためのメルケプストラムパラメータ決定木を、学習結果３１５として生成してもよい。

【0055】

また、モデル学習部３０５は例えば、学習用音響特徴量抽出部３０４が学習用歌声音声データ３１２から抽出した対数基本周波数（Ｆ０）に関する多数の音素に対応する学習用音響特徴量系列３１４から、対数基本周波数（Ｆ０）を決定するための対数基本周波数決定木を、学習結果３１５として生成してもよい。なお、対数基本周波数（Ｆ０）の有声区間と無声区間はそれぞれ、可変次元に対応したＭＳＤ－ＨＭＭにより、１次元及び０次元のガウス分布としてモデル化され、対数基本周波数決定木が生成されてもよい。

【0056】

なお、ＨＭＭに基づく音響モデルの代わりに又はこれとともに、ディープニューラルネットワーク（Deep Neural Network：ＤＮＮ）に基づく音響モデルが採用されてもよい。この場合、モデル学習部３０５は、言語特徴量から音響特徴量へのＤＮＮ内の各ニューロンの非線形変換関数を表すモデルパラメータを、学習結果３１５として生成してもよい。ＤＮＮによれば、決定木では表現することが困難な複雑な非線形変換関数を用いて、言語特徴量系列と音響特徴量系列の関係を表現することが可能である。

【0057】

また、本開示の音響モデルはこれらに限られるものではなく、例えばＨＭＭとＤＮＮを組み合わせた音響モデル等、統計的音声合成処理を用いた技術であればどのような音声合成方式が採用されてもよい。

【0058】

学習結果３１５（モデルパラメータ）は、例えば、図３に示されるように、図１の電子楽器１０の工場出荷時に、図２の電子楽器１０の制御システムのＲＯＭ２０２に記憶され、電子楽器１０のパワーオン時に、図２のＲＯＭ２０２から波形データ出力部２１１内の後述する歌声制御部３０６にロードされてもよい。

【0059】

学習結果３１５は、例えば、図３に示されるように、演奏者が電子楽器１０のスイッチパネル１４０ｂを操作することにより、ネットワークインタフェース２１９を介して、インターネットなどの外部から波形データ出力部２１１内の歌声制御部３０６にダウンロードされてもよい。

【0060】

＜音響モデルに基づく音声合成＞
図４は、一実施形態にかかる波形データ出力部３０２の一例を示す図である。

【0061】

波形データ出力部３０２は、処理部（テキスト処理部、前処理部などと呼ばれてもよい）３０６、歌声制御部（音響モデル部と呼ばれてもよい）３０７、音源３０８、歌声合成部（発声モデル部と呼ばれてもよい）３０９などを含む。

【0062】

波形データ出力部３０２は、図１の鍵盤１４０ｋの押鍵に基づいて図２のキースキャナ２０６を介してＣＰＵ２０１から指示される、歌詞及び音高の情報を含む歌声データ２１５を入力することにより、当該歌詞及び音高に対応する歌声波形データ２１７を合成し出力する。言い換えると、波形データ出力部３０２は、歌詞テキストを含む歌声データ２１５に対応する歌声波形データ２１７を、歌声制御部３０６に設定された音響モデルという統計モデルを用いて予測することにより合成する、統計的音声合成処理を実行する。

【0063】

また、波形データ出力部３０２は、ソングデータの再生時には、対応するソング再生位置に該当するソング波形データ２１８を出力する。

【0064】

処理部３０７は、例えば自動演奏に合わせた演奏者の演奏の結果として、図２のＣＰＵ２０１より指定される歌詞の音素、音高等に関する情報を含む歌声データ２１５を入力し、そのデータを解析する。歌声データ２１５は、例えば、第ｎ番目の音符（第ｎ音符と呼ばれてもよい）のデータ（例えば、音高及び音符長データ）、第ｎ音符の歌声データなどを含んでもよい。

【0065】

例えば、処理部３０７は、鍵盤１４０ｋ、ペダル１４０ｐの操作から取得されるノートオン／オフデータ、ペダルオン／オフデータなどに基づいて、後述する歌詞進行制御方法に基づいて歌詞進行の有無を判定し、出力すべき歌詞に対応する歌声データ２１５を取得してもよい。そして、処理部３０７は、押鍵によって指定された音高データと、取得した歌声データ２１５と、に対応する音素、品詞、単語等を表現する言語特徴量系列３１６を解析し、歌声制御部３０６に出力してもよい。

【0066】

歌声データは、歌詞（の文字）と、音節のタイプ（開始音節、中間音節、終了音節など）と、歌詞インデックスと、対応する声高（正解の声高）と、対応する発音期間（例えば、発音開始タイミング、発音終了タイミング、発音の長さ（duration））（正解の発音期間）と、の少なくとも１つを含む情報であってもよい。

【0067】

例えば、図４の例では、歌声データ２１５は、第ｎ（ｎ＝１、２、３、４、…）音符に対応する第ｎ歌詞の歌声データと、第ｎ音符が再生されるべき規定のタイミング（第ｎ歌声再生位置）と、の情報を含んでもよい。

【0068】

歌声データ２１５は、当該歌詞に対応する伴奏（ソングデータ）を演奏するための情報（特定の音声ファイルフォーマットのデータ、ＭＩＤＩデータなど）を含んでもよい。歌声データがＳＭＦフォーマットで示される場合、歌声データ２１５は、歌声に関するデータが格納されるトラックチャンクと、伴奏に関するデータが格納されるトラックチャンクと、を含んでもよい。歌声データ２１５は、ＲＯＭ２０２からＲＡＭ２０３に読み込まれてもよい。歌声データ２１５は、メモリ（例えば、ＲＯＭ２０２、ＲＡＭ２０３）に演奏前から記憶されている。

【0069】

なお、電子楽器１０は、歌声データ２１５によって示されるイベント（例えば、歌詞の発声タイミングと音高を指示するメタイベント（タイミング情報）、ノートオン又はノートオフを指示するＭＩＤＩイベント、又は拍子を指示するメタイベントなど）に基づいて、自動伴奏の進行などを制御してもよい。

【0070】

歌声制御部３０６は、処理部３０７から入力される言語特徴量系列３１６と、学習結果３１５として設定された音響モデルと、に基づいて、それに対応する音響特徴量系列３１７を推定し、推定された音響特徴量系列３１７に対応するフォルマント情報３１８を、歌声合成部３０９に対して出力する。

【0071】

例えば、ＨＭＭ音響モデルが採用される場合、歌声制御部３０６は、言語特徴量系列３１６によって得られるコンテキスト毎に決定木を参照してＨＭＭを連結し、連結した各ＨＭＭから出力確率が最大となる音響特徴量系列３１７（フォルマント情報３１８と声帯音源データ３１９）を予測する。

【0072】

ＤＮＮ音響モデルが採用される場合、歌声制御部３０６は、フレーム単位で入力される、言語特徴量系列３１６の音素列に対して、上記フレーム単位で音響特徴量系列３１７を出力してもよい。

【0073】

図４では、処理部３０７は、メモリ（ＲＯＭ２０２でもよいし、ＲＡＭ２０３でもよい）から、押鍵された音の音高に対応する楽器音データ（ピッチ情報）を取得し、音源３０８に出力する。

【0074】

音源３０８は、処理部３０７から入力されるノートオン／オフデータに基づいて、発音すべき（ノートオンの）音に対応する楽器音データ（ピッチ情報）の音源信号（楽器音波形データと呼ばれてもよい）を生成し、歌声合成部３０９に出力する。音源３０８は、発音する音のエンベロープ制御等の制御処理を実行してもよい。

【0075】

歌声合成部３０９は、歌声制御部３０６から順次入力されるフォルマント情報３１８の系列に基づいて声道をモデル化するデジタルフィルタを形成する。また、歌声合成部３０９は、音源３０９から入力される音源信号を励振源信号として、当該デジタルフィルタを適用して、デジタル信号の歌声波形データ２１７を生成し出力する。この場合、歌声合成部３０９は、合成フィルタ部と呼ばれてもよい。

【0076】

なお、歌声合成部３０９には、ケプストラム音声合成方式、ＬＳＰ音声合成方式をはじめとした様々な音声合成方式が採用可能であってもよい。

【0077】

図４の例では、出力される歌声波形データ２１７は、楽器音を音源信号としているため、歌い手の歌声に比べて忠実性は若干失われるが、当該楽器音の雰囲気と歌い手の歌声の声質との両方が良く残った歌声となり、効果的な歌声波形データ２１７を出力させることができる。

【0078】

なお、音源３０９は、楽器音波形データの処理とともに、他のチャネルの出力をソング波形データ２１８として出力するように動作してもよい。これにより、伴奏音は通常の楽器音で発音させたり、メロディラインの楽器音を発音させると同時にそのメロディの歌声を発声させたりするというような動作も可能である。

【0079】

図５は、一実施形態にかかる波形データ出力部３０２の別の一例を示す図である。図４と重複する内容については、繰り返し説明しない。

【0080】

図５の歌声制御部３０６は、上述したように、音響モデルに基づいて、音響特徴量系列３１７を推定する。そして、歌声制御部３０６は、推定された音響特徴量系列３１７に対応するフォルマント情報３１８と、推定された音響特徴量系列３１７に対応する声帯音源データ（ピッチ情報）３１９と、を、歌声合成部３０９に対して出力する。歌声制御部３０６は、音響特徴量系列３１７が生成される確率を最大にするような音響特徴量系列３１７の推定値を推定してもよい。

【0081】

歌声合成部３０９は、例えば、歌声制御部３０６から入力される声帯音源データ３１９に含まれる基本周波数（Ｆ０）及びパワー値で周期的に繰り返されるパルス列（有声音音素の場合）又は声帯音源データ３１９に含まれるパワー値を有するホワイトノイズ（無声音音素の場合）又はそれらが混合された信号に、フォルマント情報３１８の系列に基づいて声道をモデル化するデジタルフィルタを適用した信号を生成させるためのデータ（例えば、第ｎ音符に対応する第ｎ歌詞の歌声波形データと呼ばれてもよい）を生成し、音源３０８に出力してもよい。

【0082】

音源３０８は、処理部３０７から入力されるノートオン／オフデータに基づいて、発音すべき（ノートオンの）音に対応する前記第ｎ歌詞の歌声波形データからデジタル信号の歌声波形データ２１７を生成し、出力する。

【0083】

図５の例では、出力される歌声波形データ２１７は、声帯音源データ３１９に基づいて音源３０８が生成した音を音源信号としているため、歌声制御部３０６によって完全にモデル化された信号であり、歌い手の歌声に非常に忠実で自然な歌声の歌声波形データ２１７を出力させることができる。

【0084】

このように、本開示の音声合成は、既存のボコーダー（人間が喋った言葉をマイクによって入力し、楽器音に置き換えて合成する手法）とは異なり、ユーザ（演奏者）が歌わなくても（言い換えると、電子楽器１０にユーザがリアルタイムに発音する音声信号を入力しなくても）、鍵盤の操作によって合成音声を出力することができる。

【0085】

以上説明したように、音声合成方式として統計的音声合成処理の技術を採用することにより、従来の素片合成方式に比較して格段に少ないメモリ容量を実現することが可能となる。例えば、素片合成方式の電子楽器では、音声素片データのために数百メガバイトに及ぶ記憶容量を有するメモリが必要であったが、本実施形態では、学習結果３１５のモデルパラメータを記憶させるために、わずか数メガバイトの記憶容量を有するメモリのみで済む。このため、より低価格の電子楽器を実現することが可能となり、高音質の歌声演奏システムをより広いユーザ層に利用してもらうことが可能となる。

【0086】

さらに、従来の素片データ方式では、素片データの人手による調整が必要なため、歌声演奏のためのデータの作成に膨大な時間（年単位）と労力を必要としていたが、本実施形態によるＨＭＭ音響モデル又はＤＮＮ音響モデルのための学習結果３１５のモデルパラメータの作成では、データの調整がほとんど必要ないため、数分の一の作成時間と労力で済む。これによっても、より低価格の電子楽器を実現することが可能となる。

【0087】

また、一般ユーザが、クラウドサービスとして利用可能なサーバコンピュータ３００、音声合成ＬＳＩ２０５などに内蔵された学習機能を使って、自分の声、家族の声、或いは有名人の声等を学習させ、それをモデル音声として電子楽器で歌声演奏させることも可能となる。この場合にも、従来よりも格段に自然で高音質な歌声演奏を、より低価格の電子楽器として実現することが可能となる。

【0088】

（歌詞進行制御方法）
本開示の一実施形態に係る歌詞進行制御方法について、以下で説明する。各歌詞進行制御方法は、上述の電子楽器１０の処理部３０７などによって利用されてもよい。

【0089】

以下の各フローチャートの動作主体（電子楽器１０）は、ＣＰＵ２０１、波形データ出力部２１１（又はその内部の音源ＬＳＩ２０４、音声合成ＬＳＩ２０５）のいずれか又はこれらの組み合わせで読み替えられてもよい。例えば、ＣＰＵ２０１が、ＲＯＭ２０２からＲＡＭ２０３にロードされた制御処理プログラムを実行して、各動作が実施されてもよい。

【0090】

なお、以下に示すフローの開始にあたって、初期化処理が行われてもよい。当該初期化処理は、割り込み処理、歌詞の進行、自動伴奏などの基準時間となるＴｉｃｋＴｉｍｅの導出、テンポ設定、ソングの選曲、ソングの読み込み、楽器音の選択、その他ボタン等に関連する処理などを含んでもよい。

【0091】

ＣＰＵ２０１は、適宜のタイミングで、キースキャナ２０６からの割込みに基づいて、スイッチパネル１４０ｂ、鍵盤１４０ｋ及びペダル１４０ｐなどの操作を検出し、対応する処理を実施できる。

【0092】

なお、以下では歌詞の進行を制御する例を示すが進行制御の対象はこれに限られない。本開示に基づいて、例えば、歌詞の代わりに、任意の文字列、文章（例えば、ニュースの台本）などの進行が制御されてもよい。つまり、本開示の歌詞は、文字、文字列などと互いに読み替えられてもよい。

【0093】

図６は、一実施形態に係る歌詞進行制御方法のフローチャートの一例を示す図である。なお、本例の合成音声の生成は図５に基づく例を示すが、図４に基づいてもよい。

【0094】

まず、電子楽器１０は、歌詞の現在位置を示す歌詞インデックス（「ｎ」とも表す）に０を代入する（ステップＳ１０１）。なお、歌詞を途中から始める（例えば、前回の記憶位置から始める）場合には、ｎには０以外の値が代入されてもよい。

【0095】

歌詞インデックスは、歌詞全体を文字列とみなしたときの、先頭から何音節目（又は何文字目）の音節（又は文字）に対応するかを示す変数であってもよい。例えば、歌詞インデックスｎは、図４、図５などで示した歌声データ２１５の、第ｎ再生位置の歌声データを示してもよい。なお、本開示において、１つの歌詞の位置（歌詞インデックス）に対応する歌詞は、１音節を構成する１又は複数の文字に該当してもよい。歌声データに含まれる音節は、母音のみ、子音のみ、子音＋母音など、種々の音節を含んでもよい。

【0096】

ステップＳ１０１は、演奏開始（例えば、ソングデータの再生開始）、歌声データの読み込みなどを契機として実施されてもよい。

【0097】

電子楽器１０は、例えばユーザの操作に応じて歌詞に対応するソングデータ（伴奏）を再生してもよい（ステップＳ１０２）。ユーザは、当該伴奏に合わせて押鍵操作を行い、歌詞進行を進めるとともに演奏を行うことができる。

【0098】

電子楽器１０は、ステップＳ１０２で再生開始されたソングデータの再生が終了したか否かを判断する（ステップＳ１０３）。終了した場合（ステップＳ１０３－Ｙｅｓ）、電子楽器１０は当該フローチャートの処理を終了し、待機状態に戻ってもよい。

【0099】

なお、伴奏はなくてもよい。この場合、電子楽器１０は、ステップＳ１０２ではユーザの操作に基づいて指定された歌声データを、進行制御対象として読み込み、ステップＳ１０３では当該歌声データが全て進行したか否かを判断してもよい。

【0100】

ソングデータの再生が終了していない場合（ステップＳ１０３－Ｎｏ）、電子楽器１０は、ペダルがオンか否か（ペダルが踏まれているか否か）を判断する（ステップＳ１１１）。ペダルがオンな場合（ステップＳ１１１－Ｙｅｓ）、電子楽器１０は、新たな押鍵があった（ノートオンイベントが発生した）か否かを判断する（ステップＳ１１２）。新たな押鍵があった場合（ステップＳ１１２－Ｙｅｓ）、電子楽器１０は、歌詞インデックスｎをインクリメントする（ステップＳ１１３）。このインクリメントは、基本的には１インクリメントである（ｎにｎ＋１を代入する）が、１より大きい値が加算されてもよい。

【0101】

歌詞インデックスをインクリメントした後、電子楽器１０は、ｎ番目の歌声データの発音処理を実施する（ステップＳ１１４）。この処理の例については、後述する。そして、電子楽器１０は、ステップＳ１１３でインクリメントしたのと同じ値だけ、ｎをデクリメント（図６では、ｎにｎ－１を代入する）（ステップＳ１１５）。つまり、ペダルがオンの場合、押鍵の前後でｎが維持されるため、歌詞は進行されない。

【0102】

次に、電子楽器１０は、新たに鍵が離鍵された（ノートオフイベントが発生した）か否かを判定する（ステップＳ１１６）。新たな離鍵があった場合（ステップＳ１１６－Ｙｅｓ）、電子楽器１０は、対応する歌声データの消音処理を行う（ステップＳ１１７）。

【0103】

次に、電子楽器１０は、ペダルがオフかつ全ての鍵がオフか否かを判断する（ステップＳ１１８）。ペダルがオフかつ全ての鍵がオフの場合（ステップＳ１１８－Ｙｅｓ）、電子楽器１０は、歌詞とソング（伴奏）の同期処理を行う（ステップＳ１１９）。同期処理については、後述する。

【0104】

一方、ペダルがオフな場合（ステップＳ１１１－Ｎｏ）、電子楽器１０は、新たな押鍵があった（ノートオンイベントが発生した）か否かを判断する（ステップＳ１２２）。新たな押鍵があった場合（ステップＳ１２２－Ｙｅｓ）、電子楽器１０は、歌詞インデックスｎをインクリメントする（ステップＳ１２３）。このインクリメントは、基本的には１インクリメントである（ｎにｎ＋１を代入する）が、１より大きい値が加算されてもよい。

【0105】

歌詞インデックスをインクリメントした後、電子楽器１０は、ｎ番目の歌声データの発音処理を実施する（ステップＳ１２４）。この処理はステップＳ１１４の処理と同じであってもよい。

【0106】

つまり、ペダルがオフの場合、押鍵の前後でｎが増加されるため、歌詞は進行する。

【0107】

次に、電子楽器１０は、新たに鍵が離鍵された（ノートオフイベントが発生した）か否かを判定する（ステップＳ１２６）。新たな離鍵があった場合（ステップＳ１２６－Ｙｅｓ）、電子楽器１０は、対応する歌声データの消音処理を行う（ステップＳ１２７）。

【0108】

ステップＳ１１９、Ｓ１２６－Ｎｏ及びＳ１２７の後は、またステップＳ１０３に戻る。

【0109】

なお、Ｓ１１３及びＳ１１５は、省略されてもよい。これによって、歌詞進行させずに発音処理が行われてもよい。Ｓ１１３及びＳ１１５がある場合、Ｓ１１４によって発音される歌声データは、ｎ＋１番目のデータになるが、Ｓ１１３及びＳ１１５がない場合、Ｓ１１４によって発音される歌声データは、ｎ番目のデータになる。

【0110】

なお、Ｓ１１１の判定は、逆であってもよく、つまりペダルがオフか否か（ペダルがオフならＹｅｓ）で読み替えられてもよい。

【0111】

電子楽器１０は、既に発音中の音については、歌詞は進行させず、同じ音（又は同じ音の母音）を継続して出力させてもよいし、進行した歌詞に基づく音を出力させてもよい。また、電子楽器１０は、既に発音中の音と同じ歌詞インデックスの値に対応する音を発音する場合には、当該歌詞の母音を発音するように出力させてもよい。例えば、既に「Ｓｌｅ」という歌詞を発音中の場合であって同じ歌詞を新たに発音する場合には、電子楽器１０は、「ｅ」という音を新たに発音させてもよい。

【0112】

なお、本開示の電子楽器１０は、複数音を同時発音する際に、各音を異なる声色の合成音声を用いて発音させることができてもよい。電子楽器１０は、例えば、ユーザが４つの音を押鍵しているときは、一番高い音から順に、ソプラノ、アルト、テノール、バスの声色の音声に対応するように、音声合成及び出力を行ってもよい。

【0113】

＜ｎ番目の歌声データの発音処理＞
ステップＳ１１４のｎ番目の歌声データの発音処理について、以下で詳細に説明する。

【0114】

図７は、ｎ番目の歌声データの発音処理のフローチャートの一例を示す図である。

【0115】

電子楽器１０の処理部３０７は、押鍵により指定された音高データ及びｎ番目の歌声データを、歌声制御部３０６に入力する（ステップＳ１１４－１）。

【0116】

そして、電子楽器１０の歌声制御部３０６は、入力に基づいて音響特徴量系列３１７を推定し、対応するフォルマント情報３１８と声帯音源データ（ピッチ情報）３１９と、を、歌声合成部３０９に対して出力する。また、歌声合成部３０９は、入力されたフォルマント情報３１８と声帯音源データ（ピッチ情報）３１９とに基づいて、ｎ番目の歌声波形データ（第ｎ音符に対応する第ｎ歌詞の歌声波形データ）と呼ばれてもよい）を生成し、音源３０８に出力する。そうして、音源３０８は、ｎ番目の歌声波形データを、歌声合成部３０９から取得する（ステップＳ１１４－２）。

【0117】

電子楽器１０は、取得されたｎ番目の歌声波形データに対して、音源３０８による発音処理を行う（ステップＳ１１４－３）。

【0118】

図８は、歌詞進行判定処理を用いて制御された歌詞進行の一例を示す図である。本例では、図示する楽譜通りにユーザが押鍵した場合を説明する。例えば、ト音記号の譜面はユーザの右手によって押鍵され、ヘ音記号の譜面はユーザの左手によって押鍵されてもよい。また、歌詞インデックス１－６に、それぞれ「Ｓｌｅ」、「ｅ」、「ｐｉｎｇ」、「ｈｅａｖ」、「ｅｎ」及び「ｌｙ」が対応する。

【0119】

また、ユーザがｔ１と同時にペダルをオンし、ｔ２でペダルをオフしたと想定する。同様に、ユーザがｔ３と同時にペダルをオンし、ｔ５の前にペダルをオフしたと想定する。同様に、ユーザがｔ５と同時にペダルをオンし、次の小節が始まる予定のタイミングの前にペダルをオフしたと想定する。

【0120】

まずタイミングｔ１においては、４つの鍵が押された。電子楽器１０は、図６の判定処理を実施し、ステップＳ１１１及びＳ１１２がＹｅｓであることによって、ステップＳ１１３において歌詞インデックスを１インクリメントして、歌詞「Ｓｌｅ」を４声の合成音を用いてそれぞれ生成し、出力する。また、ステップＳ１１５で歌詞インデックスを元に戻す。

【0121】

次に、タイミングｔ２において、ユーザは右手の鍵を継続して押したまま、左手を「レ（Ｄ）」の鍵に移動した。電子楽器１０は、図６の判定処理を実施し、ステップＳ１１１がＮｏであることによって、ステップＳ１２３において歌詞インデックスを１インクリメントして、歌詞「Ｓｌｅ」を用いて当該レの音を生成し、出力する。電子楽器１０は、他３声の発音を継続する。

【0122】

以下同様に、電子楽器１０は、ｔ３では歌詞「ｅ」を４鍵に対応する音で出力し、ｔ４では歌詞「ｅ」で新たに押鍵された音のみ更新する。また、電子楽器１０は、ｔ５では歌詞「ｐｉｎｇ」を４鍵に対応する音で出力し、ｔ６では歌詞「ｐｉｎｇ」で新たに押鍵された音のみ更新する。

【0123】

図８の例のｔ１－ｔ６の区間では、上位三和音の歌詞は１音符に１分節が割り当てられ、押鍵ごとに歌詞が進行した。一方、ヘ音記号のパートは２音符に１分節（メリスマ）が割り当てられ、ペダル操作によって押鍵ごとに歌詞が進行しない箇所があった。

【0124】

＜同期処理＞
同期処理は、歌詞の位置を、現在のソングデータ（伴奏）の再生位置と合わせる処理であってもよい。この処理によれば、押鍵し過ぎにより歌詞の位置が超過したり、押鍵が不足して歌詞の位置が想定より進まなかったりした場合に、歌詞の位置を適切に移動させることができる。

【0125】

図９は、同期処理のフローチャートの一例を示す図である。

【0126】

電子楽器１０は、ソングデータの再生位置を取得する（ステップＳ１１９－１）。そして、電子楽器１０は、当該再生位置と、第ｎ＋１歌声再生位置と、が一致するかを判断する（ステップＳ１１９－２）。

【0127】

第ｎ＋１歌声再生位置は、第ｎまでの歌声データの通算の音符長などを考慮して導出される、第ｎ＋１の音符が再生される望ましいタイミングを示してもよい。

【0128】

ソングデータの再生位置と第ｎ＋１歌声再生位置とが一致する場合（ステップＳ１１９－２－Ｙｅｓ）、同期処理を終了してもよい。そうでない場合（ステップＳ１１９－２－Ｎｏ）、電子楽器１０は、ソングデータの再生位置に最も近い第Ｘ歌声再生位置を取得し（ステップＳ１１９－３）、ｎにＸ－１を代入し（ステップＳ１１９－４）、同期処理を終了してもよい。

【0129】

なお、伴奏が再生されていない場合は、同期処理は省略されてもよい。また、歌声データに基づいて適切な歌詞の発音タイミングが導出される場合は、伴奏が再生されていなくても、電子楽器１０は、歌詞の位置を、演奏開始から現在までの経過時間、押鍵の回数などに応じて、適切に発音されていた場合の位置に合わせる処理を行ってもよい。

【0130】

以上説明した一実施形態によれば、同時に複数鍵を押鍵する場合も、良好に歌詞を進行させることができる。

【0131】

（変形例）
図４、図５などで示した音声合成処理のオン／オフは、ユーザのスイッチパネル１４０ｂの操作に基づいて切り替えられてもよい。オフの場合、波形データ出力部２１１は、押鍵に対応する音高の楽器音データの音源信号を生成して、出力するように制御してもよい。

【0132】

図６などのフローチャートにおいて、一部のステップが省略されてもよい。判定処理が省略された場合、当該判定についてはフローチャートにおいて常にＹｅｓ又は常にＮｏのルートに進むと解釈されてもよい。

【0133】

電子楽器１０は、少なくとも歌詞の位置を制御することができればよく、必ずしも歌詞に対応する音を生成したり、出力したりしなくてもよい。例えば、電子楽器１０は、押鍵に基づいて生成される音波形データを外部装置（サーバコンピュータ３００など）に対して送信し、当該外部装置が当該音波形データに基づいて合成音声の生成／出力などを行ってもよい。

【0134】

電子楽器１０は、ディスプレイ１５０ｄに歌詞を表示させる制御を行ってもよい。例えば、現在の歌詞の位置（歌詞インデックス）付近の歌詞が表示されてもよいし、発音中の音に対応する歌詞、発音した音に対応する歌詞などを、現在の歌詞の位置が識別できるように着色等して表示してもよい。

【0135】

電子楽器１０は、外部装置に対して、歌声データ、現在の歌詞の位置に関する情報などの少なくとも１つを送信してもよい。外部装置は、受信した歌声データ、現在の歌詞の位置に関する情報などに基づいて、自身の有するディスプレイに歌詞を表示させる制御を行ってもよい。

【0136】

上述の例では、電子楽器１０がキーボードのような鍵盤楽器である例を示したが、これに限られない。電子楽器１０は、ユーザの操作によって発音のタイミングを指定できる構成を有する機器であればよく、エレクトリックヴァイオリン、エレキギター、ドラム、ラッパなどであってもよい。

【0137】

このため、本開示の「鍵」は、弦、バルブ、その他の音高指定用の演奏操作子、任意の演奏操作子などで読み替えられてもよい。本開示の「押鍵」は、打鍵、ピッキング、演奏、操作子の操作などで読み替えられてもよい。本開示の「離鍵」は、弦の停止、演奏停止、操作子の停止（非操作）などで読み替えられてもよい。

【0138】

なお、上記実施形態の説明に用いたブロック図は、機能単位のブロックを示している。これらの機能ブロック（構成部）は、ハードウェア及び／又はソフトウェアの任意の組み合わせによって実現される。また、各機能ブロックの実現手段は特に限定されない。すなわち、各機能ブロックは、物理的に結合した１つの装置により実現されてもよいし、物理的に分離した２つ以上の装置を有線又は無線によって接続し、これら複数の装置により実現されてもよい。

【0139】

なお、本開示において説明した用語及び／又は本開示の理解に必要な用語については、同一の又は類似する意味を有する用語と置き換えてもよい。

【0140】

本開示において説明した情報、パラメータなどは、絶対値を用いて表されてもよいし、所定の値からの相対値を用いて表されてもよいし、対応する別の情報を用いて表されてもよい。また、本開示においてパラメータなどに使用する名称は、いかなる点においても限定的なものではない。

【0141】

本開示において説明した情報、信号などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。

【0142】

情報、信号などは、複数のネットワークノードを介して入出力されてもよい。入出力された情報、信号などは、特定の場所（例えば、メモリ）に保存されてもよいし、テーブルを用いて管理してもよい。入出力される情報、信号などは、上書き、更新又は追記をされ得る。出力された情報、信号などは、削除されてもよい。入力された情報、信号などは、他の装置へ送信されてもよい。

【0143】

ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称で呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。

【0144】

また、ソフトウェア、命令、情報などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、有線技術（同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ：Digital Subscriber Line）など）及び無線技術（赤外線、マイクロ波など）の少なくとも一方を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び無線技術の少なくとも一方は、伝送媒体の定義内に含まれる。

【0145】

本開示において説明した各態様／実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、本開示において説明した各態様／実施形態の処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本開示において説明した方法については、例示的な順序を用いて様々なステップの要素を提示しており、提示した特定の順序に限定されない。

【0146】

本開示において使用する「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。

【0147】

本開示において使用する「第１の」、「第２の」などの呼称を使用した要素へのいかなる参照も、それらの要素の量又は順序を全般的に限定しない。これらの呼称は、２つ以上の要素間を区別する便利な方法として本開示において使用され得る。したがって、第１及び第２の要素の参照は、２つの要素のみが採用され得ること又は何らかの形で第１の要素が第２の要素に先行しなければならないことを意味しない。

【0148】

本開示において、「含む（include）」、「含んでいる（including）」及びこれらの変形が使用されている場合、これらの用語は、用語「備える（comprising）」と同様に、包括的であることが意図される。さらに、本開示において使用されている用語「又は（or）」は、排他的論理和ではないことが意図される。

【0149】

本開示において、例えば、英語でのa, an及びtheのように、翻訳によって冠詞が追加された場合、本開示は、これらの冠詞の後に続く名詞が複数形であることを含んでもよい。

【0150】

以上の実施形態に関して、以下の付記を開示する。
（付記１）
互いに異なる音高データ（例えば、ノート番号）がそれぞれ対応付けられている複数の第１演奏操作子（例えば、鍵）と、
第２演奏操作子（例えば、ペダル）と、
プロセッサと、を備え、前記プロセッサは、
前記第２演奏操作子への操作が検出されていない状態で、前記第１演奏操作子への第１ユーザ操作が検出され、前記第１ユーザ操作後の前記第１演奏操作子への第２ユーザ操作が検出された場合に、前記第１ユーザ操作に応じて、第１音符（例えば、図８だとＡ５の音高の音符）に対応する第１歌詞（例えば、図８だと“Ｓｌｅ”）に応じた歌声の発音を指示するとともに、前記第２ユーザ操作に応じて、前記第１音符の次の第２音符（例えば、図８だとＥ５の音高の音符）に対応する第２歌詞（例えば、図８だと“ｅ”）に応じた歌声の発音を指示し（言い換えると、前記第２ユーザ操作に応じて歌詞を進行させ）、
前記第２演奏操作子への操作が検出されている状態で、前記第１演奏操作子への第１ユーザ操作が検出され、前記第１ユーザ操作後の前記第１演奏操作子への第２ユーザ操作が検出された場合に、前記第１ユーザ操作に応じて、前記第１歌詞に応じた歌声の発音を指示するとともに、前記第２ユーザ操作に応じて、前記第２歌詞に応じた歌声の発音を指示しない（言い換えると、前記第２ユーザ操作に応じて歌詞を進行させない）ように制御する、
電子楽器。

【0151】

（付記２）
前記プロセッサは、
前記第２演奏操作子への操作が検出されている状態で、前記第１ユーザ操作及び前記第２ユーザ操作が検出された場合に、前記第２ユーザ操作に応じて、前記第１歌詞に応じた歌声の発音を指示する（例えば、音高は第２ユーザ操作に応じて変更したうえで、第１歌詞の歌声の母音をそのまま伸ばす発音を指示する）、
付記１に記載の電子楽器。

【0152】

（付記３）
前記プロセッサは、
前記第２演奏操作子への操作が検出されていない状態で、前記第１ユーザ操作及び前記第２ユーザ操作が検出された場合に、前記第１ユーザ操作に応じて、前記第１歌詞に応じた歌声を、前記第１ユーザ操作により指定された第１音高での発音を指示するとともに、前記第２ユーザ操作に応じて、前記第２歌詞に応じた歌声を、前記第２ユーザ操作により指定された第２音高での発音を指示し、
前記第２演奏操作子への操作が検出されている状態で、前記第１ユーザ操作及び前記第２ユーザ操作が検出された場合に、前記第１ユーザ操作に応じて、前記第１歌詞に応じた歌声を、前記第１ユーザ操作により指定された第１音高での発音を指示するとともに、前記第２ユーザ操作に応じて、前記第１歌詞に応じた歌声を、前記第２ユーザ操作により指定された第２音高での発音を指示する、
付記１または２に記載の電子楽器。

【0153】

（付記４）
前記プロセッサは、
伴奏データ（例えば、ソングデータ）の再生を指示し、
前記第１演奏操作子へのユーザ操作が検出されている状態から検出されない状態への変化の検出に応じて、前記第２演奏操作子への操作が検出されているか、及び、いずれかの前記第１演奏操作子へのユーザ操作が検出されているか、を判断し（言い換えると、ぺダルオフかつ全鍵がオフかを判断し）、
前記第２演奏操作子への操作が検出されておらず、かつ、いずれの前記第１演奏操作子へのユーザ操作も検出されない場合に、前記第１歌詞のデータ及び前記第２歌詞のデータを含む歌声テキストデータにおける第１再生位置であって、次のユーザ操作に応じて歌わせる歌詞の第１再生位置を、前記伴奏データにおける再生位置に応じた第２再生位置に変更する（言い換えると、同期処理を行う）、
付記１乃至３のいずれかに記載の電子楽器。

【0154】

（付記５）
前記プロセッサは、
前記第２演奏操作子への操作が検出されていない状態で、前記第１ユーザ操作及び前記第２ユーザ操作が検出された場合に、前記第１ユーザ操作に応じて、前記第１歌詞のデータを学習済みモデルに入力することにより、前記学習済みモデルが出力した歌声データに応じた発音を指示するとともに、前記第２ユーザ操作に応じて、前記第２歌詞のデータを前記学習済みモデルに入力することにより、前記学習済みモデルが出力した歌声データに応じた発音を指示し、
前記第２演奏操作子への操作が検出されている状態で、前記第１ユーザ操作及び前記第２ユーザ操作が検出された場合に、前記第１ユーザ操作に応じて、前記第１歌詞のデータを学習済みモデルに入力することにより、前記学習済みモデルが出力した歌声データに応じた発音を指示するとともに、前記第２ユーザ操作に応じて、前記第１歌詞のデータを前記学習済みモデルに入力することにより、前記学習済みモデルが出力した歌声データに応じた発音を指示する、
付記１乃至４のいずれかに記載の電子楽器。

【0155】

（付記６）
前記学習済みモデルは、或る歌い手の歌声データを教師データとして機械学習することにより生成されており、歌詞のデータ入力に応じて、前記或る歌い手の歌声を推論した歌声データを出力する、
付記５に記載の電子楽器。

【0156】

（付記７）
電子楽器のコンピュータに、
第２演奏操作子への操作が検出されていない状態で、第１演奏操作子への第１ユーザ操作が検出され、前記第１ユーザ操作後の前記第１演奏操作子への第２ユーザ操作が検出された場合に、前記第１ユーザ操作に応じて、第１音符に対応する第１歌詞に応じた歌声の発音を指示させるとともに、前記第２ユーザ操作に応じて、前記第１音符の次の第２音符に対応する第２歌詞に応じた歌声の発音を指示させ、
前記第２演奏操作子への操作が検出されている状態で、前記第１演奏操作子への第１ユーザ操作が検出され、前記第１ユーザ操作後の前記第１演奏操作子への第２ユーザ操作が検出された場合に、前記第１ユーザ操作に応じて、前記第１歌詞に応じた歌声の発音を指示させるとともに、前記第２ユーザ操作に応じて、前記第２歌詞に応じた歌声の発音を指示しないように制御させる、
方法。

【0157】

（付記８）
電子楽器のコンピュータに、
第２演奏操作子への操作が検出されていない状態で、第１演奏操作子への第１ユーザ操作が検出され、前記第１ユーザ操作後の前記第１演奏操作子への第２ユーザ操作が検出された場合に、前記第１ユーザ操作に応じて、第１音符に対応する第１歌詞に応じた歌声の発音を指示させるとともに、前記第２ユーザ操作に応じて、前記第１音符の次の第２音符に対応する第２歌詞に応じた歌声の発音を指示させる手順と、
前記第２演奏操作子への操作が検出されている状態で、前記第１演奏操作子への第１ユーザ操作が検出され、前記第１ユーザ操作後の前記第１演奏操作子への第２ユーザ操作が検出された場合に、前記第１ユーザ操作に応じて、前記第１歌詞に応じた歌声の発音を指示させるとともに、前記第２ユーザ操作に応じて、前記第２歌詞に応じた歌声の発音を指示しないように制御させる手順と、を実施させる、
プログラム。

【0158】

以上、本開示に係る発明について詳細に説明したが、当業者にとっては、本開示に係る発明が本開示中に説明した実施形態に限定されないということは明らかである。本開示に係る発明は、特許請求の範囲の記載に基づいて定まる発明の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。したがって、本開示の記載は、例示説明を目的とし、本開示に係る発明に対して何ら制限的な意味をもたらさない。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【手続補正書】

【提出日】2023-11-17

【手続補正1】

【補正対象書類名】明細書

【補正対象項目名】０００７

【補正方法】変更

【補正の内容】

【0007】

本開示の一態様に係る電子機器は、第１演奏操作子への操作が検出されている状態から検出されていない状態への変化を検出した際に設定条件を満たす場合、伴奏データの再生位置と歌声データの歌声再生位置を合わせる同期処理を実行する、制御部を備える。

【手続補正2】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

第１演奏操作子への操作が検出されている状態から検出されていない状態への変化を検出した際に設定条件を満たす場合、伴奏データの再生位置と歌声データの歌声再生位置を合わせる同期処理を実行する、
制御部を備える電子機器。

【請求項2】

前記設定条件を満たす場合は、第２演奏操作子への操作が検出されておらず、かついずれの前記第１演奏操作子への操作も検出されていない場合である、
請求項１に記載の電子機器。

【請求項3】

前記制御部は、
第２演奏操作子への操作が検出されていない状態における前記第１演奏操作子へのユーザ操作に応じて、前記歌声データの前記歌声再生位置を進行させ、
前記第２演奏操作子への操作が検出されている状態における前記第１演奏操作子へのユーザ操作に応じて、前記歌声データの前記歌声再生位置を進行させないように制御する、
請求項１又は２に記載の電子機器。

【請求項4】

前記歌声データの前記歌声再生位置の音声は、歌詞に対応する歌声データを学習済みモデルに入力することにより、前記学習済みモデルが出力した音響特徴量データに基づいて、生成される、
請求項１乃至３のいずれか１項に記載の電子機器。

【請求項5】

前記学習済みモデルは、或る歌い手の歌声データを教師データとして機械学習することにより生成されており、歌詞のデータの入力に応じて、前記或る歌い手の歌声を推論した歌声データを出力する、
請求項４に記載の電子機器。

【請求項6】

請求項１に記載の電子機器と、
前記第１演奏操作子と、
を含む電子楽器。

【請求項7】

電子機器の少なくとも１つのプロセッサが、請求項１乃至５のいずれか１項に記載の処理を実行する方法。

【請求項8】

電子機器の少なくとも１つのプロセッサに、請求項１乃至５のいずれか１項に記載の処理を実行させるプログラム。