特許 6988343 歌唱音声の編集支援方法、および歌唱音声の編集支援装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6988343

(24)【登録日】2021年12月6日

(45)【発行日】2022年1月5日

(54)【発明の名称】歌唱音声の編集支援方法、および歌唱音声の編集支援装置

(51)【国際特許分類】

   G10G 1/00 20060101AFI20211220BHJP

   G10G 3/04 20060101ALI20211220BHJP

【ＦＩ】

   G10G1/00

   G10G3/04

【請求項の数】27

【全頁数】19

(21)【出願番号】特願2017-191630(P2017-191630)

(22)【出願日】2017年9月29日

(65)【公開番号】特開2019-66650(P2019-66650A)

(43)【公開日】2019年4月25日

【審査請求日】2020年3月9日

(73)【特許権者】

【識別番号】000004075

【氏名又は名称】ヤマハ株式会社

(74)【代理人】

【識別番号】100111763

【弁理士】

【氏名又は名称】松本 隆

(72)【発明者】

【氏名】小笠原 基

【審査官】 渡部 幸和

(56)【参考文献】

【文献】 特開２０１３−１３４４７５（ＪＰ，Ａ）

【文献】 特開２０１３−１３７５２０（ＪＰ，Ａ）

【文献】 特開２０１３−２０５６３８（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１３／０１６２６４９（ＵＳ，Ａ１）

【文献】 欧州特許出願公開第０２６１０８５９（ＥＰ，Ａ２）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ１０Ｌ １３／００−１３／１０

Ｇ１０Ｇ １／００−３／０４

Ｇ１０Ｈ １／００−１／４６

(57)【特許請求の範囲】

【請求項1】

音符の時系列を表す楽譜データと歌詞を表す歌詞データとに相当する歌唱波形データの表す歌唱波形を、一方の軸が音高を表し他方の軸が時間を表す波形表示画面に音符毎に配置して表示装置に表示する波形表示ステップと、
歌詞の音素を示す情報を前記波形表示画面における当該音素の発音位置に表示する音素表示ステップと、を有し、
前記音素表示ステップでは、
前記歌唱波形データを参照して歌詞の音素を示す情報の切り替わり箇所となる時刻を特定し、当該時刻を前記発音位置として特定する、
ことを特徴とする編集支援方法。

【請求項2】

前記音素表示ステップでは、
前記歌唱波形データを参照して歌詞の音素を示す情報の切り替わり箇所となる時刻を特定し、当該時刻を当該情報の示す音素の発音が開始されるタイミングとして特定し、さらに当該タイミングを前記波形表示画面の時間軸上の位置に換算することで、前記発音位置を特定する、
ことを特徴とする請求項１に記載の編集支援方法。

【請求項3】

前記楽譜データと前記歌詞データの少なくとも一方に対する編集指示の入力を契機として、前記表示装置の表示画面を、前記楽譜データと前記歌詞データの少なくとも一方を編集するための楽譜編集画面に切り替える切り替えステップと、
前記楽譜編集画面に対する編集操作に応じて前記楽譜データと前記歌詞データの少なくとも一方を変更し、前記歌唱波形データを算出し直す算出ステップと、
を含むことを特徴とする請求項１又は請求項２に記載の編集支援方法。

【請求項4】

前記歌唱波形の開始タイミングの変更指示を音符毎に受け付け、指示内容に応じて歌唱波形の開始タイミングを編集する開始タイミング編集ステップと、
前記開始タイミング編集ステップにおける編集内容に応じて前記歌唱波形データを算出し直す算出ステップと、
を含むことを特徴とする請求項１又は請求項２に記載の編集支援方法。

【請求項5】

前記楽譜データにしたがって音符を示す一区切りの図形である音符ブロックを音符毎に前記波形表示画面に表示する音符表示ステップを有する、
ことを特徴とする請求項４に記載の歌唱音声の編集支援方法。

【請求項6】

音高の時間変化を表すピッチカーブを前記楽譜データにしたがって前記波形表示画面に表示するピッチカーブ表示ステップと、
前記ピッチカーブにおけるアタック部分またはリリース部分の変更指示を音符毎に受け付け、指示内容に応じて前記ピッチカーブを編集するピッチカーブ編集ステップと、
前記ピッチカーブ編集ステップにおける編集内容に応じて前記歌唱波形データを算出し直す算出ステップと、を含む
ことを特徴とする請求項１又は請求項２に記載の編集支援方法。

【請求項7】

前記ピッチカーブ編集ステップでは、
前記歌唱音声に付与する音響効果の種類に応じて時間軸方向と音量軸方向の少なくとも一方の方向に前記ピッチカーブを伸縮させることを促す編集補助画面を前記表示装置に表示させ、当該編集補助画面に対する指示内容に応じて前記ピッチカーブを編集することを特徴とする請求項６に記載の編集支援方法。

【請求項8】

音符の時系列を表す楽譜データと歌詞を表す歌詞データとに相当する歌唱波形データの表す歌唱波形を、一方の軸が音高を表し他方の軸が時間を表す波形表示画面に音符毎に配置して表示装置に表示する波形表示ステップと、
歌詞の音素を示す情報を前記波形表示画面における当該音素の発音位置に表示する音素表示ステップと、
音高の時間変化を表すピッチカーブを前記楽譜データにしたがって前記波形表示画面に表示するピッチカーブ表示ステップと、
前記ピッチカーブにおけるアタック部分またはリリース部分の変更指示を音符毎に受け付け、指示内容に応じて前記ピッチカーブを編集するピッチカーブ編集ステップと、
前記ピッチカーブ編集ステップにおける編集内容に応じて前記歌唱波形データを算出し直す算出ステップと、を含む
ことを特徴とする編集支援方法。

【請求項9】

前記ピッチカーブ編集ステップでは、
前記歌唱音声に付与する音響効果の種類に応じて時間軸方向と音量軸方向の少なくとも一方の方向に前記ピッチカーブを伸縮させることを促す編集補助画面を前記表示装置に表示させ、当該編集補助画面に対する指示内容に応じて前記ピッチカーブを編集することを特徴とする請求項８に記載の編集支援方法。

【請求項10】

音符の時系列を表す楽譜データと歌詞を表す歌詞データとに相当する歌唱波形データの表す歌唱波形を、一方の軸が音高を表し他方の軸が時間を表す波形表示画面に音符毎に配置して表示装置に表示する波形表示手段と、
歌詞の音素を示す情報を前記波形表示画面における当該音素の発音位置に表示する音素表示手段と、を有し、
前記音素表示手段は、
前記歌唱波形データを参照して歌詞の音素を示す情報の切り替わり箇所となる時刻を特定し、当該時刻を前記発音位置として特定する、
ことを特徴とする編集支援装置。

【請求項11】

前記音素表示手段は、
前記歌唱波形データを参照して歌詞の音素を示す情報の切り替わり箇所となる時刻を特定し、当該時刻を当該情報の示す音素の発音が開始されるタイミングとして特定し、さらに当該タイミングを前記波形表示画面の時間軸上の位置に換算することで、前記発音位置を特定する、
ことを特徴とする請求項１０に記載の編集支援装置。

【請求項12】

前記楽譜データと前記歌詞データの少なくとも一方に対する編集指示の入力を契機として、前記表示装置の表示画面を、前記楽譜データと前記歌詞データの少なくとも一方を編集するための楽譜編集画面に切り替える切り替え手段と、
前記楽譜編集画面に対する編集操作に応じて前記楽譜データと前記歌詞データの少なくとも一方を変更し、前記歌唱波形データを算出し直す算出手段と、
を含むことを特徴とする請求項１０又は請求項１１に記載の編集支援装置。

【請求項13】

前記歌唱波形の開始タイミングの変更指示を音符毎に受け付け、指示内容に応じて歌唱波形の開始タイミングを編集する開始タイミング編集手段と、
前記開始タイミング編集手段による編集内容に応じて前記歌唱波形データを算出し直す算出手段と、
を含むことを特徴とする請求項１０又は請求項１１に記載の編集支援装置。

【請求項14】

前記楽譜データにしたがって音符を示す一区切りの図形である音符ブロックを音符毎に前記波形表示画面に表示する音符表示手段を有する、
ことを特徴とする請求項１３に記載の歌唱音声の編集支援装置。

【請求項15】

音高の時間変化を表すピッチカーブを前記楽譜データにしたがって前記波形表示画面に表示するピッチカーブ表示手段と、
前記ピッチカーブにおけるアタック部分またはリリース部分の変更指示を音符毎に受け付け、指示内容に応じて前記ピッチカーブを編集するピッチカーブ編集手段と、
前記ピッチカーブ編集手段による編集内容に応じて前記歌唱波形データを算出し直す算出手段と、を含む
ことを特徴とする請求項１０又は請求項１１に記載の編集支援装置。

【請求項16】

前記ピッチカーブ編集手段は、
前記歌唱音声に付与する音響効果の種類に応じて時間軸方向と音量軸方向の少なくとも一方の方向に前記ピッチカーブを伸縮させることを促す編集補助画面を前記表示装置に表示させ、当該編集補助画面に対する指示内容に応じて前記ピッチカーブを編集することを特徴とする請求項１５に記載の編集支援装置。

【請求項17】

音符の時系列を表す楽譜データと歌詞を表す歌詞データとに相当する歌唱波形データの表す歌唱波形を、一方の軸が音高を表し他方の軸が時間を表す波形表示画面に音符毎に配置して表示装置に表示する波形表示手段と、
歌詞の音素を示す情報を前記波形表示画面における当該音素の発音位置に表示する音素表示手段と、
音高の時間変化を表すピッチカーブを前記楽譜データにしたがって前記波形表示画面に表示するピッチカーブ表示手段と、
前記ピッチカーブにおけるアタック部分またはリリース部分の変更指示を音符毎に受け付け、指示内容に応じて前記ピッチカーブを編集するピッチカーブ編集手段と、
前記ピッチカーブ編集手段による編集内容に応じて前記歌唱波形データを算出し直す算出手段と、を含む
ことを特徴とする編集支援装置。

【請求項18】

前記ピッチカーブ編集手段は、
前記歌唱音声に付与する音響効果の種類に応じて時間軸方向と音量軸方向の少なくとも一方の方向に前記ピッチカーブを伸縮させることを促す編集補助画面を前記表示装置に表示させ、当該編集補助画面に対する指示内容に応じて前記ピッチカーブを編集することを特徴とする請求項１７に記載の編集支援装置。

【請求項19】

コンピュータに、
音符の時系列を表す楽譜データと歌詞を表す歌詞データとに相当する歌唱波形データの表す歌唱波形を、一方の軸が音高を表し他方の軸が時間を表す波形表示画面に音符毎に配置して表示装置に表示する波形表示ステップと、
歌詞の音素を示す情報を前記波形表示画面における当該音素の発音位置に表示する音素表示ステップと、を実行させ、
前記音素表示ステップでは、前記コンピュータは、
前記歌唱波形データを参照して歌詞の音素を示す情報の切り替わり箇所となる時刻を特定し、当該時刻を前記発音位置を特定する、
ことを特徴とするプログラム。

【請求項20】

前記音素表示ステップでは、前記コンピュータは、
前記歌唱波形データを参照して歌詞の音素を示す情報の切り替わり箇所となる時刻を特定し、当該時刻を当該情報の示す音素の発音が開始されるタイミングとして特定し、さらに当該タイミングを前記波形表示画面の時間軸上の位置に換算することで、前記発音位置を特定する、
ことを特徴とする請求項１９に記載のプログラム。

【請求項21】

前記楽譜データと前記歌詞データの少なくとも一方に対する編集指示の入力を契機として、前記表示装置の表示画面を、前記楽譜データと前記歌詞データの少なくとも一方を編集するための楽譜編集画面に切り替える切り替えステップと、
前記楽譜編集画面に対する編集操作に応じて前記楽譜データと前記歌詞データの少なくとも一方を変更し、前記歌唱波形データを算出し直す算出ステップと、
を前記コンピュータにさらに実行させる、ことを特徴とする請求項１９又は請求項２０に記載のプログラム。

【請求項22】

前記歌唱波形の開始タイミングの変更指示を音符毎に受け付け、指示内容に応じて歌唱波形の開始タイミングを編集する開始タイミング編集ステップと、
前記開始タイミング編集ステップにおける編集内容に応じて前記歌唱波形データを算出し直す算出ステップと、
を前記コンピュータにさらに実行させることを特徴とする請求項１９又は請求項２０に記載のプログラム。

【請求項23】

前記楽譜データにしたがって音符を示す一区切りの図形である音符ブロックを音符毎に前記波形表示画面に表示する音符表示ステップを、
前記コンピュータにさらに実行させることを特徴とする請求項２２に記載のプログラム。

【請求項24】

音高の時間変化を表すピッチカーブを前記楽譜データにしたがって前記波形表示画面に表示するピッチカーブ表示ステップと、
前記ピッチカーブにおけるアタック部分またはリリース部分の変更指示を音符毎に受け付け、指示内容に応じて前記ピッチカーブを編集するピッチカーブ編集ステップと、
前記ピッチカーブ編集ステップにおける編集内容に応じて前記歌唱波形データを算出し直す算出ステップと、
を前記コンピュータにさらに実行させることを特徴とする請求項１９又は請求項２０に記載のプログラム。

【請求項25】

前記ピッチカーブ編集ステップでは、前記コンピュータは、
前記歌唱音声に付与する音響効果の種類に応じて時間軸方向と音量軸方向の少なくとも一方の方向に前記ピッチカーブを伸縮させることを促す編集補助画面を前記表示装置に表示させ、当該編集補助画面に対する指示内容に応じて前記ピッチカーブを編集することを特徴とする請求項２４に記載のプログラム。

【請求項26】

コンピュータに、
音符の時系列を表す楽譜データと歌詞を表す歌詞データとに相当する歌唱波形データの表す歌唱波形を、一方の軸が音高を表し他方の軸が時間を表す波形表示画面に音符毎に配置して表示装置に表示する波形表示ステップと、
歌詞の音素を示す情報を前記波形表示画面における当該音素の発音位置に表示する音素表示ステップと、
音高の時間変化を表すピッチカーブを前記楽譜データにしたがって前記波形表示画面に表示するピッチカーブ表示ステップと、
前記ピッチカーブにおけるアタック部分またはリリース部分の変更指示を音符毎に受け付け、指示内容に応じて前記ピッチカーブを編集するピッチカーブ編集ステップと、
前記ピッチカーブ編集ステップにおける編集内容に応じて前記歌唱波形データを算出し直す算出ステップと、
を実行させるプログラム。

【請求項27】

前記ピッチカーブ編集ステップでは、前記コンピュータは、
前記歌唱音声に付与する音響効果の種類に応じて時間軸方向と音量軸方向の少なくとも一方の方向に前記ピッチカーブを伸縮させることを促す編集補助画面を前記表示装置に表示させ、当該編集補助画面に対する指示内容に応じて前記ピッチカーブを編集することを特徴とする請求項２６に記載のプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、歌唱音声の編集を支援する技術に関する。

【背景技術】

【0002】

近年、歌唱音声を電気的に合成する歌唱合成技術が普及している。従来の歌唱合成技術では、ピアノロール形式の画面を用いて曲のメロディを構成する音符の入力や音符に合せて発音する歌詞の入力を行うことが一般的であった（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１１−２２１０８５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

実際の歌唱音声では、音符の開始タイミングとその音符に対応する歌詞の音声の再生開始タイミングとが揃っていないことがある。しかし、特許文献１に開示の技術では、音符の開始タイミングとその音符に対応する歌詞の音声の再生開始タイミングのずれを把握することはできず、音符に対応する歌詞の音声の再生開始部分の編集が難しい、といった問題があった。

【0005】

本発明は以上に説明した課題に鑑みて為されたものであり、歌唱音声の合成において音符に対応する歌詞の音声の再生開始部分の編集を容易に行えるようにする技術を提供することを目的とする。

【課題を解決するための手段】

【0006】

上記課題を解決するために本発明は、以下の波形表示ステップと音素表示ステップと、を有することを特徴とする歌唱音声の編集支援方法を提供する。波形表示ステップは、音符の時系列を表す楽譜データと歌詞を表す歌詞データとに相当する歌唱波形データの表す歌唱波形を、一方の軸が音高を表し他方の軸が時間を表す波形表示画面に音符毎に配置して表示装置に表示するである。音素表示ステップは、歌詞の音素を示す情報を前記波形表示画面における当該音素の発音位置に表示するステップである。

【0007】

本発明によれば、波形表示画面に表示される歌唱波形の開始位置と歌詞の音素を示す情報の表示位置とから、音符の開始タイミングと音符に対応する歌詞の音声の再生開始タイミングのずれを、視覚を通じて容易に把握することが可能になる。このため、本発明によれば、音符の開始タイミングと音符に対応する歌詞の音声の再生開始タイミングのずれを視覚的に把握しつつ、歌唱音声の編集を行えるようになるので、音符に対応する歌詞の音声の再生開始部分の編集が容易になる。

【0008】

より好ましい態様においては、上記編集支援方法は、以下の切り替えステップと算出ステップと、を含むことを特徴とする。切り替えステップは、前記楽譜データと前記歌詞データの少なくとも一方に対する編集指示の入力を契機として、前記表示装置の表示画面を、前記楽譜データと前記歌詞データの少なくとも一方を編集するための楽譜編集画面に切り替えるステップである。算出ステップは、前記楽譜編集画面に対する編集操作に応じて前記楽譜データと前記歌詞データの少なくとも一方を変更し、前記歌唱波形データを算出し直すステップである。楽譜編集画面の一例としては前述のピアノロール形式の画面が挙げられる。楽譜データ或いは歌詞データの編集には前述のピアノロール形式の画面が好適だからである。本態様によれば、楽譜データや歌詞データの編集に好適な画面に切り替えてそれらデータの編集を行うことが可能になるとともに、それらデータの変更により生じた歌唱波形の変化や歌詞を構成する音素の変化（或いは当該音素の発音位置や音高の変化）を即座に把握することが可能になる。

【0009】

別の好ましい態様においては、上記編集支援方法は、以下の開始タイミング編集ステップと算出ステップとを含むことを特徴とする。開始タイミング編集ステップは、音符に対応する歌唱波形の開始タイミングの変更指示を受け付け、指示内容に応じて歌唱波形の開始タイミングを編集するステップである。算出ステップは、開始タイミング編集ステップにおける編集内容に応じて前記歌唱波形データを算出し直すステップである。この態様によれば、音符に対応する歌唱波形の開始タイミングの変更に伴う歌唱波形の変化を確認しつつ、歌唱波形の開始タイミングを変更することが可能になり、音符に対応する歌詞の音声の再生開始部分の編集を一層容易に行えるようになる。さらに好ましい態様においては、上記編集支援方法は、音符を示す一区切りの図形である音符ブロックを楽譜データにしたがって音符毎に波形表示画面に表示する音符表示ステップをさらに有することを特徴とする。この態様によれば、音符の開始タイミングと歌唱波形の開始位置の関係をより明確に把握することができ、音符に対応する歌詞の音声の再生開始部分の編集を一層容易に行えるようになる。

【0010】

別の好ましい態様においては、上記編集支援方法は、以下のピッチカーブ表示ステップ、ピッチカーブ編集ステップ、および算出ステップを含むことを特徴とする。ピッチカーブ表示ステップは、音高の時間変化を表すピッチカーブを前記楽譜データにしたがって前記波形表示画面に表示するステップである。ピッチカーブ編集ステップは、前記ピッチカーブにおけるアタック部分またはリリース部分の変更指示を音符毎に受け付け、指示内容に応じて前記ピッチカーブを編集するステップである。そして、算出ステップは、前記ピッチカーブ編集ステップにおける編集内容に応じて前記歌唱波形データを算出し直すステップである。この態様によれば、音高の時間変化と歌唱波形の関係を一目で把握することができ、音符に対応する歌詞の音声の再生開始部分の編集を一層容易に行えるようになる。さらに好ましい態様としては、前記ピッチカーブ編集ステップでは、前記歌唱音声に付与する音響効果の種類に応じて時間軸方向と音量軸方向の少なくとも一方の方向に前記ピッチカーブを伸縮させることを促す編集補助画面を前記表示装置に表示させ、当該編集補助画面に対する指示内容に応じて前記ピッチカーブを編集する態様が考えられる。この態様によれば、ピッチカーブの編集が容易になる。

【0011】

また、上記課題を解決するために本発明は、以下の波形表示手段と音素表示手段とを有することを特徴とする歌唱音声の編集支援装置を提供する。波形表示手段は、音符の時系列を表す楽譜データと歌詞を表す歌詞データとに相当する歌唱波形データの表す歌唱波形を、一方の軸が音高を表し他方の軸が時間を表す波形表示画面に音符毎に配置して表示装置に表示する。音素表示手段は、歌詞の音素を示す情報を前記波形表示画面における当該音素の発音位置に表示する。この態様によっても、歌唱音声の合成における音符に対応する歌詞の音声の再生開始部分の編集を容易に行えるようになる。

【0012】

本発明の別の態様としては、上記波形表示ステップと上記音素表示ステップとをコンピュータに実行させるプログラム、或いは、コンピュータを上記波形表示手段および上記音素表示手段として機能させるプログラム、を提供する態様が考えられる。また、これらプログラムの具体的な提供態様としてはインターネットなどの電気通信回線経由のダウンロードにより配布する態様や、ＣＤ−ＲＯＭ（Compact Disk-Read Only Memory）などのコンピュータ読み取り可能な記録媒体に書き込んで配布する態様が考えられる。

【図面の簡単な説明】

【0013】

【図1】本発明の一実施形態による編集支援方法を実行する歌唱合成装置１の構成例を示す図である。

【図2】歌唱合成入力データの構成および歌唱合成出力データの構成を示す図である。

【図3】編集支援プログラムにしたがって作動している制御部１００が表示部１２０ａに表示させる楽譜編集画面の一例を示す図である。

【図4】編集対象の歌唱合成入力データが指定された後の楽譜編集画面の表示例を示す図である。

【図5】編集支援プログラムにしたがって制御部１００が実行する更新処理の流れを示すフローチャートである。

【図6】編集支援プログラムにしたがって制御部１００が実行する波形表示処理の流れを示すフローチャートである。

【図7】編集支援プログラムにしたがって作動している制御部１００が表示部１２０ａに表示させる波形表示画面の一例を示す図である。

【図8】編集支援プログラムにしたがって作動している制御部１００が表示部１２０ａに表示させる波形表示画面の一例を示す図である。

【図9】編集支援プログラムにしたがって制御部１００が実行する更新処理の流れを示すフローチャートである。

【図10】波形表示画面における歌唱波形の開始タイミングの編集対象領域Ａ０３の表示例を示す図である。

【図11】ピッチカーブのアタック部分或いはリリース部分にエフェクトを付与する際の編集補助画面の一例を示す図である。

【図12】本発明の編集支援装置１０の構成例を示す図である。

【発明を実施するための形態】

【0014】

以下、図面を参照しつつ本発明の実施形態を説明する。
図１は、本発明の一実施形態の歌唱合成装置１の構成例を示す図である。歌唱合成装置１は、例えばパーソナルコンピュータであり、歌唱合成用データベース１３４ａと歌唱合成プログラム１３４ｂが予めインストールされている。図１に示すように、歌唱合成装置１は、制御部１００、外部機器インタフェース部１１０、ユーザインタフェース部１２０、記憶部１３０、およびこれら構成要素間のデータ授受を仲介するバス１４０を有する。なお、図１では、外部機器インタフェース部１１０は外部機器Ｉ／Ｆ部１１０と略記されており、ユーザインタフェース部１２０はユーザＩ／Ｆ部１２０と略記されている。以下、本明細書においても同様に略記する。本実施形態では、歌唱合成用データベース１３４ａおよび歌唱合成プログラム１３４ｂのインストール先のコンピュータ装置がパーソナルコンピュータである場合について説明するが、タブレット端末やスマートフォン、ＰＤＡなどの携帯型情報端末であっても良く、また、携帯型或いは据置型の家庭用ゲーム機であっても良い。

【0015】

制御部１００は例えばＣＰＵ（Central Processing Unit）である。制御部１００は記憶部１３０に記憶されている歌唱合成プログラム１３４ｂを実行することにより、歌唱合成装置１の制御中枢として機能する。

【0016】

図１では詳細な図示を省略したが、外部機器Ｉ／Ｆ部１１０は、通信インタフェースとＵＳＢインタフェースを含む。外部機器Ｉ／Ｆ部１１０は、他のコンピュータ装置などの外部機器との間でデータ授受を行う。具体的には、ＵＳＢ（Universal Serial Bus）インタフェースにはＵＳＢメモリ等が接続され、制御部１００による制御の下で当該ＵＳＢメモリからデータを読み出し、読み出したデータを制御部１００に引き渡す。通信インタフェースはインターネットなどの電気通信回線に有線接続または無線接続される。通信インタフェースは、制御部２００による制御の下で接続先の電気通信回線から受信したデータを制御部１００に引き渡す。外部機器Ｉ／Ｆ部１１０は、歌唱合成用データベース１３４ａや歌唱合成プログラム１３４ｂのインストールの際に利用される。

【0017】

ユーザＩ／Ｆ部１２０は、表示部１２０ａと、操作部１２０ｂと、音出力部１２０ｃとを有する。表示部１２０ａは例えば液晶ディスプレイとその駆動回路である。表示部１２０ａは、制御部１００による制御の下、各種画像を表示する。表示部１２０ａに表示される画像の一例としては、歌唱音声の編集を支援するための各種画面の画像が挙げられる。操作部１２０ｂは、例えばマウスなどのポインティングデバイスとキーボードとを含む。操作部１２０ｂに対してユーザが何らかの操作を行うと、操作部１２０ｂはその操作内容を表すデータを制御部１００に引き渡す。これにより、ユーザの操作内容が制御部１００に伝達される。なお、歌唱合成プログラム１３４ｂを携帯型情報端末にインストールして歌唱合成装置１を構成する場合には、操作部１２０ｂとしてタッチパネルを用いるようにすれば良い。音出力部１２０ｃは制御部１００から与えられる波形データにＤ／Ａ変換を施してアナログ音信号を出力するＤ／Ａ変換器と、Ｄ／Ａ変換器から出力されるアナログ音信号に応じて音を出力するスピーカとを含む。音声出力部１２０ｃは、合成した歌唱音声を再生する際に利用される。

【0018】

記憶部１３０は、図１に示すように揮発性記憶部１３２と不揮発性記憶部１３４とを含む。揮発性記憶部１３２は例えばＲＡＭ（Random Access Memory）である。揮発性記憶部１３２は、プログラムを実行する際のワークエリアとして制御部１００によって利用される。不揮発性記憶部１３４は例えばハードディスクである。不揮発性記憶部１３４には、歌唱合成用データベース１３４ａが記憶されている。歌唱合成用データベース１３４ａには、声色や音素が異なる多種多様な音声素片の各々の波形データである音声素片データが声色毎に分類されて格納されている。不揮発性記憶部１３４ａには、歌唱合成用データベース１３４ａの他に歌唱合成プログラム１３４ｂが格納されている。また、図１では詳細な図示を省略したが、不揮発性記憶部１３４には、ＯＳ（Operating System）を制御部１００に実現させるカーネルプログラムが記憶されている。

【0019】

制御部１００は、歌唱合成装置１の電源投入を契機としてカーネルプログラムを不揮発性記憶部１３４から揮発性記憶部１３２に読出し、その実行を開始する。なお、図１では、歌唱合成装置１の電源の図示は省略されている。カーネルプログラムにしたがってＯＳを実現している状態の制御部１００は、操作部１２０ｂに対する操作により実行を指示されたプログラムを不揮発性記憶部１３４から揮発性記憶部１３２へ読出し、その実行を開始する。例えば、操作部１２０ｂに対する操作により歌唱合成プログラム１３４ｂの実行を指示された場合には、制御部１００は歌唱合成プログラム１３４ｂを不揮発性記憶部１３４から揮発性記憶部１３２へ読出し、その実行を開始する。なお、プログラムの実行を指示する操作の具体例としては、プログラムに対応付けて表示部１２０ａに表示されるアイコンのマウスクリックや当該アイコンに対するタップが挙げられる。

【0020】

歌唱合成プログラム１３４ｂにしたがって作動している制御部１００は、歌唱音声の合成対象となる曲のメロディに対応する音符の時系列を表す楽譜データと、音符に合せて発音する歌詞を表す歌詞データとにしたがって歌唱合成出力データを生成し、当該生成した歌唱合成出力データを不揮発性記憶部１３４に書き込む歌唱合成エンジンとして機能する。歌唱合成出力データとは、楽譜データと歌詞データとにしたがって合成される歌唱音声の音波形を表す波形データ（例えば、ｗａｖ形式のオーディオデータ）であり、より具体的には、当該音波形をサンプリングして得られるサンプル列である。本実施形態では、上記楽譜データと歌詞データは、両者を一体とした歌唱合成入力データとして歌唱合成装置１に記憶される。また、当該歌唱合成入力データにしたがって生成された歌唱合成出力データは、当該歌唱合成入力データに対応付けて記憶される。

【0021】

図２は、歌唱合成入力データＩＮＤと、この歌唱合成入力データＩＮＤから合成される歌唱合成出力データＯＵＴＤの関係を示す図である。歌唱合成入力データＩＮＤは、例えばＳＭＦ（Standard MIDI File）の形式に準拠したデータ、すなわち発音すべきノート（音符）のイベントを発音順に規定するデータである。図２に示すように、歌唱合成入力データＩＮＤは、歌唱音声の合成対象となる曲のメロディを構成する音符の発音順に、当該音符の開始／終了時刻を表すデータ、当該音符の音高を表す音程データ、当該音符に合せて発音する歌詞を表す歌詞データ、および歌唱音声における歌唱の個性の調整用のパラメータを配列したデータである。音符の開始／終了時刻を表すデータと当該音符の音高を表す音程データは前述した楽譜データの役割を果たす。歌唱音声の歌唱の個性の調整の具体例としては、人間の歌唱したような自然な歌唱音声となるように音量の変化態様や音高の変化態様、歌詞の発音の長さを編集することが挙げられる。歌唱音声における歌唱の個性の調整用のパタメータの具体例としては、楽譜データの表す各音符の音量、音高、および継続時間の少なくとも１つ、ブレスの付与タイミング或いは回数、ブレスの強さを表すパラメータ、歌唱音声の音色（声色）を指定するデータ、音符に合せて発音する歌詞の子音の長さを規定するデータ、ビブラートの持続時間および振幅を示すデータ等が挙げられる。本実施形態では、従来の歌唱合成技術と同様にＳＭＦにおける音符のＶｅｌｏｃｉｔｙデータに、当該音符に合せて発音する歌詞の子音の長さを規定するデータの役割を担わせている。

【0022】

本実施形態では、音符に合せて発音する歌詞を表す歌詞データとして、歌詞を構成する文字列を表すテキストデータと、当該歌詞の音素を表す発音記号データが用いられている。しかし、上記歌詞データとしてテキストデータのみを用いても良く、また発音記号データのみを用いても良い。ただし、歌詞データとして上記テキストデータのみを用いる場合には、当該テキストデータから発音記号データを生成する仕組みを歌唱合成プログラム１３４ｂに設けておく必要がある。つまり、本実施形態の歌唱合成入力データにおける歌詞データは、歌詞の発音記号を表すデータ、或いは当該発音記号を特定可能なデータであればどのような内容或いは形式のデータであっても良い。

【0023】

図２に示すように、歌唱合成エンジンにより生成され、不揮発性記憶部１３４に書き込まれる歌唱合成出力データＯＵＴＤは、歌唱音声のフレーム毎に当該フレームにおける歌唱音声の波形を表す歌唱波形データと、当該フレームにおけるピッチの時間変化を表すピッチカーブデータと、当該フレームにおける歌詞の音素を表す発音記号データとを配列したデータである。フレームとは、歌唱波形データを構成するサンプル列のサンプリングタイミングのことを言い、歌唱波形データ或いはピッチカーブデータのフレーム毎のデータとは、サンプリングタイミング毎の歌唱波形或いはピッチカーブのサンプル値のことを言う。歌唱合成出力データＯＵＴＤに含まれる歌唱波形データは、歌唱合成入力データＩＮＤの表す音符毎に当該音符に合せて発音する歌詞の音素に対応した音声素片データを歌唱合成用データベース１３４ａから読み出し、当該音符の音高に対応するピッチ変換して接続することで生成される。

【0024】

歌唱合成プログラム１３４ｂには、歌唱音声の編集を支援するための編集支援プログラムが含まれている。操作部１２０ｂに対する操作により歌唱合成プログラム１３４ｂの実行を指示された場合には、制御部１００は、まず、編集支援プログラムを実行する。編集支援プログラムにしがって作動している制御部１００は、従来の歌唱合成技術における場合と同様に、ピアノロール形式の楽譜編集画面を表示部１２０ａに表示させ、歌詞の入力や音符の入力を支援する。加えて、本実施形態の編集支援プログラムは、音符に対応する歌詞の音声の再生開始部分の編集を容易に行えるようにするために、ユーザの指示に応じて歌唱波形の表示を行えるように構成されており、この点に本実施形態の特徴の一つがある。

【0025】

以下、図２に示す歌唱合成入力データＩＮＤおよびこの歌唱合成入力データＩＮＤに基づいて生成された歌唱合成出力データＯＵＴＤが不揮発性記憶部１３４に既に格納されている場合を例にとって、編集支援プログラムにしたがって実行される編集支援方法の流れを説明する、

【0026】

編集支援プログラムの実行を開始した制御部１００は、まず、図３に示す楽譜編集画面を表示部１２０ａに表示させる。楽譜編集画面とは、楽曲のデータを提示するときに、音高のイベントを図形表示で提示し、当該図形に対する操作により音高のイベントを規定するデータを編集できる画面のことを言う。図３に示すように、楽譜編集画面には、一方の軸が音高を表し、他方の軸が時間を表すピアノロール形式の編集領域Ａ０１と、データ読み込みボタンＢ０１が設けられている。ピアノロール形式とは、縦軸で音高を、横軸で時間を表示する表示形式のことを言う。データ読み込みボタンＢ０１は、マウスのクリック等によって操作可能な仮想操作子である。図３に示すように、編集支援プログラムの実行開始直後に表示部１２０ａに表示される楽譜編集画面の編集領域Ａ０１には、音符や音符に合せて発音する歌詞は表示されない。

【0027】

図３に示す楽譜編集画面を視認したユーザは操作部１２０ｂに対する操作により、合成対象の歌唱音声のメロディを構成する音符や音符に合せて発音する歌詞を入力することができる。また、ユーザは、操作部１２０ｂに対する操作によりデータ読み込みボタンＢ０１をクリックすることで、既に生成済みの歌唱合成入力データを編集対象として読み込むことを指示することができる。データ読み込みボタンＢ０１がクリックされると、制御部１００は、不揮発性記憶部１３４に格納されている歌唱合成入力データを示す情報（例えば、ファイル名を表す文字列）のリストを表示部１２０ａに表示させる。ユーザは当該リストに対する選択操作を行うことで編集対象の歌唱合成入力データを指定することができる。

【0028】

上記の要領で編集対象の歌唱合成入力データが指定されると、制御部１００は、ユーザにより指定された歌唱合成入力データを不揮発性記憶部１３４から揮発性記憶部１３２へ読み出し、当該歌唱合成入力データにしたがって、音符毎に、音符を示すひと区切りの図形（すなわち、音高のイベントを示す図形）、音符に合せて発音する歌詞を表す文字列、および当該歌詞の音素を表す発音記号を編集領域Ａ０１に配置し、楽譜編集画面の表示内容を更新する。ひと区切りの図形とは、閉じた輪郭線で区画される１つの図形のことを言う。以下では、音符を示すひと区切りの図形を「音符ブロック」と呼ぶ。例えば、前述の歌唱合成入力データＩＮＤが編集対象として指定された場合には、楽譜編集画面の表示内容は図４のように更新される。

【0029】

図４に示すように、本実施形態では、音符ブロックとして輪郭線が実線で描画された矩形が用いられている。制御部１００は、音符毎に、歌唱合成入力データの示す開始時刻から終了時刻に至る巾の矩形を当該音符の音程に対応する音高軸方向の位置に配置する。制御部１００は、当該音符に対応する歌詞の音素を表す発音記号を当該音符に対応音符ブロック内に当該音符の発音開始タイミング側につめて配置し、当該矩形の下側近傍に当該音符に対応する歌詞の文字列を配置する。つまり、図４に示す楽譜編集画面では、音符に対応する歌詞の音素の発音開始タイミングと当該音素の発音を示す発音記号の表示位置は対応付けられていない。音符ブロック毎に発音される音素が把握できれば十分だからである。なお、一つの音符に対応付けられる音素は一つとは限らず、一つの音符に複数の音素が対応付けられる場合もある。一つの音符に複数の音素が対応付けられている場合には、制御部１００は、音符に対応付けられている複数の音素の各々の発音を表す発音記号をその発音順に配列して当該音符ブロックの内部に配置する。図３と図４とを比較すれば明らかなように、編集対象の歌唱合成入力データの読み込みが完了すると、データ読み込みボタンＢ０１の他に波形表示ボタンＢ０２が楽譜編集画面に表示される。波形表示ボタンＢ０２はデータ読み込みボタンＢ０１と同様に仮想操作子である。本実施形態では、編集対象の歌唱合成入力データの読み込み完了前は波形表示ボタンＢ０２を表示せず、編集対象の歌唱合成入力データの読み込み完了を契機として波形表示ボタンＢ０２を表示するが、波形表示ボタンＢ０２を常時表示しても良い。

【0030】

歌唱合成装置１のユーザは、各音符に対応する矩形の時間軸方向の巾や位置、音高軸方向の位置を変更することで音符の編集を行うことができ、さらに歌詞を表す文字列を書き換えることで、音符に合せて発音する歌詞を編集することができる。編集支援プログラムにしたがって作動している制御部１００は、音符の編集或いは歌詞の編集が為されたことを契機として、図５に示す更新処理を実行する。この更新処理では、制御部１００は、編集対象の歌唱合成入力データを編集領域Ａ０１に対する編集内容に応じて更新し（ステップＳＡ１００）、当該編集対象の歌唱合成入力データに基づいて生成された（当該編集対象の歌唱合成入力データに対応して記憶されている）歌唱合成出力データを算出し直す（ステップＳＡ１１０）。なお、ステップＳＡ１２０では、制御部１００は、楽譜編集画面にて歌詞等の編集が行われた音符に対応する歌唱波形データのみを算出し直す。

【0031】

また、ユーザは、波形表示ボタンＢ０２をクリックすることで、表示部１２０ａの表示画面を波形表示画面に切り替えることができる。波形表示ボタンＢ０２のクリックを契機として制御部１００は、表示部１２０ａの表示画面を波形表示画面に切り替え、図６に示す波形表示処理を実行する。波形表示画面は、楽譜編集画面と同様に一方の軸が音高を表し、他方の軸が時間を表すピアノロール形式の編集領域Ａ０２（図７参照）を有する。波形表示画面の編集領域Ａ０２には、歌唱合成出力データに含まれる歌唱波形データの表す歌唱波形のうち、波形表示画面への切り替え前に楽譜編集画面の編集領
域Ａ０１に音符ブロック等が表示されていた時間区間の歌唱波形が表示される。つまり、本実施形態の波形表示画面は、楽曲の情報を提示するときに、楽曲の音波形の表示により当該楽曲のデータを提示し、当該音波形に対する操作により楽曲のデータを編集できる画面である。

【0032】

波形表示処理の波形表示ステップＳＢ１００（図６参照）では、制御部１００は、編集対象の歌唱合成入力データに対応する歌唱合成出力データ、すなわち編集対象の歌唱合成入力データから合成された歌唱合成出力データに含まれる歌唱波形データの表す歌唱音声の波形のうち波形表示画面への切り替え前に楽譜編集画面の編集領域Ａ０１に音符ブロック等が表示されていた時間区間の波形を音符毎に区切って編集領域Ａ０２に表示する。歌唱音声の波形の表示形式には、歌唱音声の波形そのもの（すなわち歌唱音声における振幅の時間変化を示す振動波形）を表示する表示形式（以下、歌唱波形形式）と、当該振動波形の包絡線を表示する表示形式示（以下、包絡線形式）の２種類があり、本実施形態では包絡線形式が採用されている。表示ステップＳＢ１００では、制御部１００は、編集対象の歌唱合成入力データに対応する歌唱合成出力データに含まれる歌唱波形データの各々について、当該歌唱波形データに対応付けられている発音記号を検索キーとして歌唱合成入力データを検索し、対応する音符を特定する。次いで、制御部１００は、ｎ（ｎ＝０、１，２・・・）番目の音符について、歌唱波形データの表す波形のうちの当該音符に対応する部分の波形Ｗ−ｎのピーク（山）についての包絡線ＰＨ−ｎと当該歌唱波形正における負のピーク（谷）についての包絡線ＰＬ−ｎとを求め、編集領域Ａ０２における当該音符の音高に対応する音高軸方向の位置に包絡線ＰＨ−ｎとＰＬ−ｎを描画する（図７参照）。包絡線ＰＨ−ｎは歌唱音声の波形の山（正の最大振幅）の時間変化を表し、包絡線ＰＬ−ｎは歌唱音声の波形の谷（負の最大振幅）の時間変化を表す。したがって、包絡線形式で描画するときには、包絡線の値がゼロとなる位置を、包絡線が対応している音符の音高の位置（編集領域０２における高さ方向の位置）に合せて描画する。これに対して、歌唱波形形式が採用されている場合は、制御部１００は、ｎ（ｎ＝０、１，２・・・）番目の音符について上記波形Ｗ−ｎを編集領域Ａ０２における当該音符の音高に対応する音高軸方向の位置に描画する。歌唱波形形式で描画するときには、歌唱音声の波形の値がゼロとなる位置を、当該歌唱音声の波形が対応している音符の音高の位置（編集領域０２における高さ方向の位置）に合せて描画する。図８は歌唱波形形式の表示例を示す図である。図８では、図面が煩雑になることを避けるために、図７における２番目の音符についてのみ当該音符に対応する歌唱音声の波形Ｗ−２が描画されている。なお、ステップＳＢ１００における歌唱音声の波形の表示形式をユーザの指示に応じて切り換えるようにしても良い。

【0033】

波形表示処理の音素表示ステップＳＢ１１０では、制御部１００は、編集対象の歌唱合成入力データにしたがって、歌詞の音素を示す発音記号を音素毎にその音素の発音が開始されるタイミングに応じた編集領域Ａ０２の時間軸上の位置に表示する（図７参照）。より詳細に説明すると、制御部１００は、歌詞の音素を表す発音記号の切り替わり箇所となるフレームを、編集対象の歌唱合成入力データに対応する歌唱合成出力データを参照して特定する。次いで、制御部１００は、当該フレームに対応する時刻を、当該フレームが歌唱音声の先頭フレームから何番目のフレームであるかに基づいて特定し、その時刻を当該発音記号の表す音素の発音が開始されるタイミングとして特定し、さらに当該タイミングを編集領域Ａ０２の時間軸上の位置に換算することで当該発音記号の時間軸方向の表示位置が特定される、一方、音高軸方向の表示位置については、上記の要領で特定された時刻における音程を、編集対象の歌唱合成入力データを参照して特定すれば良い。

【0034】

波形表示処理の音符表示ステップＳＢ１２０では、制御部１００は、編集対象の歌唱合成入力データにしたがって、音符毎に音符ブロックを編集領域Ａ０２に表示する。本実施形態の波形表示画面では、図７に示すように、音符ブロックとして輪郭線が点線で描画された矩形が用いられており、波形表示画面における音符ブロックの表示方法は楽譜編集画面における音符ブロックの表示方法と同一である。波形表示処理のピッチカーブ表示ステップＳＢ１３０では、制御部１００は、音高の時間変化を表すピッチカーブＰＣ（図７参照）を歌唱合成出力データに含まれるピッチカーブデータにしたがって編集領域Ａ０２に表示する。本実施形態では、歌唱合成出力データに含まれるピッチカーブデータにしたがってピッチカーブを表示するが、歌唱合成入力データに含まれている音程データにしたがってピッチカーブを表示しても良い。

【0035】

例えば、歌唱合成入力データＩＮＤが編集対象として指定されていた場合、当該歌唱合成入力データＩＮＤに対応する歌唱合成出力データＯＵＴＤにしたがって上記波形表示ステップＳＢ１００からピッチカーブ表示ステップＳＢ１３０の処理が実行される。その結果、表示部１２０ａには、図７に示す波形表示画面が表示される。前述したように、実際の歌唱音声では、音符の開始タイミングとその音符に対応する歌詞の音声の再生開始タイミングとが異なる場合がある。このような場合、本実施形態では、歌詞の音素を表す発音記号は歌唱合成出力データにしたがって本来の発音位置に表示され、当該歌詞に対応する音符を表す矩形からはみ出して表示される。図７に示す例では、歌詞「ｌｏｖｅ」の先頭音素「ｌＯ」、歌詞「ｓｏ」の先頭音素「Ｓ」および歌詞「ｍｕｃｈ」の先頭音素「ｍ」が、各々の歌詞に対応する音符の発音タイミングよりも前のタイミングに表示され、各々の歌詞に対応する音符に先行する音符に対応する音符ブロック内に表示されている様子が示されている。

【0036】

このように、音符の開始タイミングとその音符に対応する歌詞の音声の再生開始タイミングとが異なる場合、本実施形態の歌唱合成装置１では、当該歌詞の先頭音素の発音記号は当該歌詞に対応する音符を表す矩形からはみ出して表示される。このため、歌唱合成装置１のユーザは、音符の開始タイミングとその音符に対応する歌詞の音声の再生開始タイミングとが異なることを、視覚を通じて把握することができる。

【0037】

図７に示す波形表示画面を視認したユーザは、表示部１２０ａの表示画面を前述の楽譜編集画面に切り替える操作を行うことができる。図７に示すように、波形表示画面には、波形表示ボタンＢ０２に代えて楽譜編集ボタンＢ０３が設けられている。なお、波形表示画面において楽譜編集ボタンＢ０２と波形表示ボタンＢ０３を常に並べて表示しても良く、この場合、楽譜編集画面においても楽譜編集ボタンＢ０２と波形表示ボタンＢ０３を常に並べて表示しても良い。つまり、楽譜編集ボタンＢ０２と波形表示ボタンＢ０３を常に同時に表示する態様であっても良い。楽譜編集ボタンＢ０３は、表示部１２０ａの表示画面を前述の楽譜編集画面に切り替えることをユーザに指示させるための仮想操作子である。ユーザは楽譜編集ボタンＢ０３をクリックすることで、楽譜編集画面への切り替えを指示することができる。また、波形表示画面が表示部２１０ａに表示されている状況下では、ユーザは音符に対応する歌唱波形の開始タイミングを音符毎に変更することができる。例えば、ユーザは、開始タイミングの変更を所望する歌唱波形のアタック部分付近をマウスオーバ或いはタップ等することで、変更対象の音符を指定することができる。なお、本実施形態では、音符に対応する歌唱波形の開始タイミングが変更されても、当該歌唱波形の終了タイミングは変更しない。つまり、音符に対応する歌唱波形の開始タイミングの変更は当該歌唱波形全体の時間軸方向の平行移動を意味する訳ではない。歌唱波形の歌詞タイミングがより前のタイミングに変更されると、その変更分だけ歌唱波形全体の時間軸方向の長さが伸びることとなり、逆に歌唱波形の歌詞タイミングがより後のタイミングに変更されると、その変更分だけ歌唱波形全体の時間軸方向の長さが短くなる。

【0038】

対応する歌唱波形の開始タイミングを変更する音符が指定されると、編集支援プログラムにしたがって作動している制御部１００は、図９に示す更新処理を実行する。図９に示す更新処理のステップＳＣ１００では、制御部１００は、音符に対応する歌唱波形の開始タイミングの変更指示を受け付け、指示内容に応じて歌唱波形の開始タイミングを編集する。より詳細に説明すると、制御部１００は、マウスオーバ等により指定された音符について、当該音符に対応する歌唱波形のアタック部分の編集対象領域を表示する。図１０では、歌詞「ｍｕｃｈ」に対応する音符、すなわち５番目の音符がマウスオーバ等により指定された場合の編集対象領域Ａ０３がハッチングで示されている。なお、図１０では、歌唱音声の波形の表示形式として包絡線形式を採用した場合の表示例が示されている。前述したように、歌詞「ｍｕｃｈ」の先頭の音素の開始タイミングは、１つ前の音符、すなわち４番目の音符にはみ出している。このため、編集対象領域Ａ０３の開始位置は上記４番目の音符まではみ出している。ユーザは、編集対象領域Ａ０３の開始位置をマウス等で左右にドラッグすることで、マウスオーバ等により指定された音符に対応する歌唱波形の開始位置の移動方向および移動量を指定することができる。

【0039】

図９のステップＳＣ１１０では、制御部１００は、ステップＳＣ１００における編集内容（ドラッグ操作による編集対象領域Ａ０１の開始位置の移動方向および移動量の指定）に応じて歌唱波形データを算出し直し、波形表示画面の表示内容を更新する。これにより、ユーザは、ステップＳＣ１００における編集内容に応じた歌唱波形の変化を、視覚を通じて即座に把握することができる。より詳細に説明すると、制御部１００は、マウスオーバ等により指定された音符に対応する歌唱の個性の調整用パラメータに含まれる子音の長さを規定するデータを、編集対象領域Ａ０３の開始位置の変更内容に応じて更新する。具体的には、制御部１００は、編集対象領域Ａ０３の開始位置が左へ変更された場合には移動量が大きいほど子音が長くなるように該当する音符のＶｅｌｏｃｉｔｙデータを更新し、逆に開始位置が右へ変更された場合には移動量が大きいほど子音が短くなるように該当する音符のＶｅｌｏｃｉｔｙデータを更新する。そして、制御部１００は、上記の要領で歌唱の構成の調整用パラメータが更新された歌唱合成入力データから歌唱合成出力データを生成し直す。このステップＳＣ１１０においても、制御部１００は、前述のステップＳＡ１１０における場合と同様に、開始位置が変更された音符に対応する歌唱波形データのみを生成し直す。

【0040】

以上説明したように、本実施形態によれば、音符の開始タイミングとその音符に対応する歌詞の音声の再生開始タイミングとが異なる場合には当該歌詞の先頭音素の発音記号が当該歌詞に対応する音符を表す矩形からはみ出して表示される。このため、歌唱合成装置１のユーザは、音符の開始タイミングとその音符に対応する歌詞の音声の再生開始タイミングとが異なることを、視覚を通じて把握しつつ歌唱音声の編集を行うことができ、音符に対応する歌詞の音声の再生開始部分の編集を容易に行えるようになる。

【0041】

以上本発明の一実施形態について説明したが、この実施形態に以下の変形を加えても勿論良い。（１）音符或いは歌詞の編集の際にピッチカーブのアタック部分或いはリリース部分に付与するエフェクトをユーザに選択させるための編集補助画面ＳＧ０１を楽譜表示画面と並べて表示部１２０ａに表示し（図１１参照）、ピッチカーブのアタック部分或いはリリース部分に付与するエフェクトをユーザに選択させるようにしても良い。この態様によれば、ピッチカーブのアタック部分或いはリリース部分へのエフェクトの付与が容易になる、といった効果が奏される。

【0042】

また、ピッチカーブにおけるアタック部分またはリリース部分の変更指示を音符毎に受け付け、指示内容に応じてピッチカーブを編集するピッチカーブ編集ステップを、上記開始タイミング編集ステップに加えて、或いは上記開始タイミング編集ステップに代えて設けても良い。

【0043】

（２）上記実施形態では、波形表示画面にピッチカーブと音符ブロックの両方を表示したが、ピッチカーブと音符ブロックの何れか一方を波形表示画面に表示しても良い。ピッチカーブの表示と音符ブロックの表示の何れか一方だけでも、波形表示画面において音高の時間変化を把握することは可能だからである。また、音高の時間変化は歌唱波形からも把握可能であるから、波形表示画面ではピッチカーブの表示と音符ブロックの表示の両方の表示を省略しても良い。つまり、図６における音符表示ステップＳＢ１２０およびピッチカーブ表示ステップＳＢ１３０の両方或いは何れか一方を省略しても良い。

【0044】

（３）上記実施形態では、歌唱合成装置１の表示部１２０ａに楽譜編集画面や波形表示画面等の各種画面を表示させたが、外部機器Ｉ／Ｆ部１１０を介して歌唱合成装置１に接続される表示装置に各種画面を表示させても良い。歌唱合成装置１に対して各種指示を入力するための操作入力装置についても、歌唱合成装置１の操作部１２０ｂを用いるのではなく、外部機器Ｉ／Ｆ部１１０を介して歌唱合成装置１に接続されるマウスやキーボードにその役割を担わせても良い。また、上記実施形態では、歌唱合成装置１の制御部１００に本発明の編集支援方法を実行させたが、この編集支援方法を実行する編集支援装置を歌唱合成装置とは別箇の装置として提供しても良い。

【0045】

具体的には、図１２に示すように、波形表示手段と音素表示手段とを組み合わせて構成される編集支援装置１０を提供しても良い。波形表示手段は、図６における波形表示ステップＳＢ１００の処理を実行する手段である。音素表示手段は、図６における音素表示ステップＳＢ１１０の処理を実行する手段である。また、コンピュータを上記波形表示手段および音素表示手段として機能させるプログラムを提供しても良い。このような態様であれば、パーソナルコンピュータやタブレット端末等の一般的なコンピュータ装置を本発明の編集支援装置として機能させることが可能になる。また、編集支援装置を１台のコンピュータで実現するのではなく、電気通信回線経由の通信により協働可能な複数のコンピュータにより編集支援装置を実現するクラウド態様、具体的には波形表示手段と音素表示手段を各々別個のコンピュータで実現する態様であっても良い。

【符号の説明】

【0046】

１…歌唱合成装置、１０…編集支援装置、１００…制御部、１１０…外部機器Ｉ／Ｆ部、１２０…ユーザＩ／Ｆ部、１２０ａ…表示部、１２０ｂ…操作部、１２０ｃ…音出力部、１３０…記憶部、１３２…揮発性記憶部、１３４…不揮発性記憶部、１４０…バス。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】