特許 6036903 表示制御装置および表示制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6036903

(24)【登録日】2016年11月11日

(45)【発行日】2016年11月30日

(54)【発明の名称】表示制御装置および表示制御方法

(51)【国際特許分類】

   G10G 1/00 20060101AFI20161121BHJP

   G10H 1/00 20060101ALI20161121BHJP

【ＦＩ】

   G10G1/00

   G10H1/00 Z

【請求項の数】9

【全頁数】14

(21)【出願番号】特願2015-77502(P2015-77502)

(22)【出願日】2015年4月6日

(62)【分割の表示】特願2010-76108(P2010-76108)の分割

【原出願日】2010年3月29日

(65)【公開番号】特開2015-146035(P2015-146035A)

(43)【公開日】2015年8月13日

【審査請求日】2015年4月6日

(73)【特許権者】

【識別番号】000004075

【氏名又は名称】ヤマハ株式会社

(74)【代理人】

【識別番号】100125689

【弁理士】

【氏名又は名称】大林 章

(74)【代理人】

【識別番号】100128598

【弁理士】

【氏名又は名称】高田 聖一

(74)【代理人】

【識別番号】100121108

【弁理士】

【氏名又は名称】高橋 太朗

(72)【発明者】

【氏名】大下 隼人

(72)【発明者】

【氏名】吉田 雅史

【審査官】 安田 勇太

(56)【参考文献】

【文献】 特開２００７−２７９４７０（ＪＰ，Ａ）

【文献】 特許第５７７９８３８（ＪＰ，Ｂ２）

【文献】 特開２００３−１０８１１９（ＪＰ，Ａ）

【文献】 特開２００３−１１４６７４（ＪＰ，Ａ）

【文献】 特開平０９−００６３４５（ＪＰ，Ａ）

【文献】 特開２００５−０１７７３２（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ１０Ｇ １／００ − ７／０２

Ｇ１０Ｈ １／００ − １／４６

(57)【特許請求の範囲】

【請求項1】

音符情報が示す音高に応じて第１方向の位置が決定され、前記第１方向に交差する第２方向の位置および長さが前記音符情報の発音期間に応じて決定された音指示子を、指定音毎に表示装置に表示させ、時間軸上の再生点に対応する前記音指示子の全体の態様であって当該音指示子の表示色、階調または模様を含む態様を、当該音指示子が示す発音期間のうち当該再生点での当該指定音の特性に応じた態様となるように前記再生点の移動とともに経時的に変化させる表示制御手段
を具備する表示制御装置。

【請求項2】

前記表示制御手段は、前記音指示子が示す発音期間の終点を前記再生点が経過すると、当該音指示子の態様を、前記再生点が前記発音期間の開始前に位置する場合の当該音指示子の態様とする
請求項１の表示制御装置。

【請求項3】

音符情報が示す音高に応じて第１方向の位置が決定され、前記第１方向に交差する第２方向の位置および長さが前記音符情報の発音期間に応じて決定された音指示子を、指定音毎に表示装置に表示させ、時間軸上の再生点に対応する前記音指示子の一部または全部の形状または位置を、当該音指示子が示す発音期間のうち当該再生点での当該指定音の特性に応じて前記再生点の移動とともに経時的に変化させる表示制御手段
を具備する表示制御装置。

【請求項4】

前記表示制御手段は、前記指定音の音高の微小変化を示す制御情報に応じて、前記再生点に対応する前記音指示子の一部または全部の位置を前記再生点の移動とともに経時的に変化させる
請求項３の表示制御装置。

【請求項5】

前記表示制御手段は、前記音指示子のうち前記第２方向の端部の、前記第１方向における位置を、前記再生点の移動とともに経時的に変化させる
請求項３または請求項４の表示制御装置。

【請求項6】

前記表示制御手段は、前記第１方向における前記音指示子の全体の位置を、前記再生点の移動とともに経時的に変化させる
請求項３または請求項４の表示制御装置。

【請求項7】

前記表示制御手段は、前記第１方向における前記音指示子の長さを、前記再生点の移動とともに経時的に変化させる
請求項３の表示制御装置。

【請求項8】

コンピュータが、
音符情報が示す音高に応じて第１方向の位置が決定され、前記第１方向に交差する第２方向の位置および長さが前記音符情報の発音期間に応じて決定された音指示子を、指定音毎に表示装置に表示させ、時間軸上の再生点に対応する前記音指示子の全体の態様であって当該音指示子の表示色、階調または模様を含む態様を、当該音指示子が示す発音期間のうち当該再生点での当該指定音の特性に応じた態様となるように前記再生点の移動とともに経時的に変化させる
表示制御方法。

【請求項9】

コンピュータが、
音符情報が示す音高に応じて第１方向の位置が決定され、前記第１方向に交差する第２方向の位置および長さが前記音符情報の発音期間に応じて決定された音指示子を、指定音毎に表示装置に表示させ、時間軸上の再生点に対応する前記音指示子の一部または全部の形状または位置を、当該音指示子が示す発音期間のうち当該再生点での当該指定音の特性に応じて前記再生点の移動とともに経時的に変化させる
表示制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、楽曲の各音（以下「指定音」という）に関する情報を表示する技術に関する。

【背景技術】

【0002】

指定音毎に音高と発音期間とを指定する楽譜情報（スコアデータ）を利用して歌唱音等の音響を合成する技術が従来から提案されている。例えば特許文献１には、各指定音を示す音指示子を時間軸に沿って配列した画像（ピアノロール画像）と、各指定音の特性（例えば音楽的な表情）を指定する制御変数の時間的な変化を示すグラフとを共通の時間軸のもとで表示する技術が開示されている。指定音の再生時には、再生点を示す指示子（ポインタ）が表示され、再生の進行とともに時間軸に沿って移動する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００８−１６５１３０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、特許文献１の技術のもとでは、再生点を示す指示子が各指定音の再生時に表示されるに過ぎないから、各指定音に付与される特性を利用者が直感的に把握できないという問題がある。以上の事情を考慮して、本発明は、各指定音に付与される特性の直感的な把握を可能にすることを目的とする。

【課題を解決するための手段】

【0005】

以上の課題を解決するために、本発明の表示制御装置は、各指定音の音高と発音期間とを示す音符情報を表示する装置であって、音符情報が示す音高に応じて第１方向の位置が決定され、第１方向に交差する第２方向の位置および長さが音符情報の発音期間に応じて決定された音指示子を、指定音毎に表示装置に表示させ、時間軸上の再生点に対応する音指示子の態様を、当該音指示子が示す発音期間のうち当該再生点での当該指定音の特性に応じた態様となるように再生点の移動とともに経時的に変化させる表示制御手段を具備する。以上の態様においては、再生点に対応する音指示子の態様が指定音の特性に応じて可変に制御される。したがって、利用者が各指定音の特性を直感的に把握できるという利点がある。

【0006】

なお、音指示子の態様とは、観察者が視覚的に識別できる画像の状態を意味する。例えば、音指示子の形状や寸法（幅や長さ），位置，階調の濃淡，表示色（色相，明度，彩度），模様、またはこれらの組合せが、音指示子の態様の概念に包含される。

【0007】

本発明の好適な態様において、表示制御手段は、再生点に対応する音指示子の態様を、各指定音の特性の時間的な変化を示す制御情報が当該再生点について示す特性に応じた態様に制御する。以上の態様においては、各指定音の音指示子の態様が、再生点について制御情報が示す特性に応じて制御されるから、制御情報が示す各指定音の特性を利用者が直感的に把握できるという利点がある。

【0008】

本発明の音響処理装置は、各指定音の音高と発音期間とを示す音符情報を利用者からの指示に応じて可変に生成する情報生成手段と、音符情報に応じた音響信号を生成する音響生成手段と、音符情報が示す音高に応じて第１方向の位置が決定され、第１方向に交差する第２方向の位置および長さが音符情報の発音期間に応じて決定された音指示子を、指定音毎に表示装置に表示させ、音響生成手段が生成する音響信号の再生点に対応する音指示子の態様を、当該音指示子が示す発音期間のうち当該再生点での当該指定音の特性に応じた態様となるように音響信号の再生とともに経時的に変化させる表示制御手段とを具備する。以上の態様においては、再生点に対応する音指示子の態様が指定音の特性に応じて可変に制御される。したがって、利用者が各指定音の特性を直感的に把握できるという利点がある。

【0009】

情報生成手段は、各指定音の特性の時間的な変化を示す制御情報（例えば図１の制御情報ＤCや図５の制御情報ＵC）を利用者からの指示に応じて可変に生成し、音響生成手段は、制御情報に応じて音響信号を生成し、表示制御手段は、音響生成手段が生成した音響信号の再生点に対応する音指示子を、制御情報が当該再生点について示す特性に応じた態様に制御する。以上の態様においては、各指定音の音指示子の態様が、音響信号の再生点について制御情報が示す特性に応じて制御されるから、制御情報が示す各指定音の特性を利用者が直感的に把握できるという利点がある。

【0010】

例えば、制御情報（例えば図１の制御情報ＤC）が指定音の音量の変化を示す場合、第１方向における音指示子の長さおよび音指示子の階調の少なくとも一方を表示制御手段が制御情報に応じて制御する構成が好適である。以上の態様によれば、各指定音の音量を利用者が音指示子の長さや階調から直感的に把握できるという利点がある。以上の態様の具体例は、例えば第１実施形態として後述される。

【0011】

また、制御情報（例えば図５の制御情報ＵC）が音高の微小変化（例えばビブラートやプレパレーション，オーバーシュート）を示す場合、第１方向における音指示子の一部（例えば図６の端部５２）または全部の位置を表示制御手段が制御情報に応じて制御する構成が好適である。以上の態様によれば、各指定音の音高の微小変化を、音高を示す第１方向における音指示子の位置から利用者が直感的に把握できるという利点がある。なお、以上の態様の具体例は、例えば第２実施形態として後述される。

【0012】

本発明の好適な態様において、表示制御手段は、所定の間隔で設定された拍点に対して指定音の発音期間の始点が遅延または先行する場合に、再生点が発音期間の始点に接近すると、当該指定音に対応する音指示子の端点（例えば図７や図８の端点Ｅ）を、第２方向の一方側に移動させてから元の位置に戻す。以上の態様においては、拍点に対して指定音の発音が先行または遅延する場合に、再生点が発音期間に接近すると音指示子が第２方向に移動するから、指定音の発音期間が拍点に対して遅延（溜め）または先行（走り）していることを利用者が直感的に把握できるという利点がある。

【0013】

以上の各態様に係る情報表示装置および音響処理装置は、音符情報の処理に専用されるＤＳＰ（Digital Signal Processor）などのハードウェア（電子回路）によって実現されるほか、ＣＰＵ（Central Processing Unit）などの汎用の演算処理装置とプログラムとの協働によっても実現される。本発明のひとつの態様に係るプログラムは、各指定音の音高と発音期間とを示す音符情報を表示するためのプログラムであって、音符情報が示す音高に応じて第１方向の位置が決定され、第１方向に交差する第２方向の位置および長さが音符情報の発音期間に応じて決定された音指示子を、指定音毎に表示装置に表示させ、時間軸上の再生点に対応する音指示子の態様を、当該音指示子が示す発音期間のうち当該再生点での当該指定音の特性に応じた態様となるように再生点の移動とともに経時的に変化させる表示制御手段としてコンピュータを機能させる。また、本発明の他の態様に係るプログラムは、各指定音の音高と発音期間とを示す音符情報を利用者からの指示に応じて可変に生成する情報生成手段、音符情報に応じた音響信号を生成する音響生成手段、および、音符情報が示す音高に応じて第１方向の位置が決定され、第１方向に交差する第２方向の位置および長さが音符情報の発音期間に応じて決定された音指示子を、指定音毎に表示装置に表示させ、音響生成手段が生成する音響信号の再生点に対応する音指示子の態様を、当該音指示子が示す発音期間のうち当該再生点での当該指定音の特性に応じた態様となるように音響信号の再生とともに経時的に変化させる表示制御手段、としてコンピュータを機能させる。

【0014】

以上の各態様に係るプログラムは、コンピュータが読取可能な記録媒体に格納された形態で利用者に提供されてコンピュータにインストールされるほか、通信網を介した配信の形態でサーバ装置から提供されてコンピュータにインストールされる。

【図面の簡単な説明】

【0015】

【図1】本発明の第１実施形態に係る音響処理装置のブロック図である。

【図2】楽譜情報の模式図である。

【図3】編集画面の模式図である。

【図4】音指示子の態様の変化を説明するための模式図である。

【図5】第２実施形態における楽譜情報の模式図である。

【図6】音指示子の態様の変化を説明するための模式図である。

【図7】第３実施形態における音指示子の態様の変化を説明するための模式図である。

【図8】第３実施形態の変形例における音指示子の態様の変化の模式図である。

【発明を実施するための形態】

【0016】

＜Ａ：第１実施形態＞
図１は、本発明の第１実施形態に係る音響処理装置１００のブロック図である。音響処理装置１００は、複数の指定音を時系列に配列した歌唱音等の音響（以下「合成音」という）を生成する装置であり、図１に示すように、制御装置１０と記憶装置１２と入力装置１４と表示装置１６と放音装置１８とを具備するコンピュータシステムで実現される。

【0017】

制御装置（ＣＰＵ）１０は、記憶装置１２に記憶されたプログラムＰGの実行で、音響信号ＳOUTの生成に必要な複数の機能（情報生成部２２，音響生成部２４，表示制御部２６）を実現する。音響信号ＳOUTは、合成音の時間軸上の波形を示す信号である。なお、制御装置１０の各機能を専用の電子回路（ＤＳＰ）で実現した構成や、制御装置１０の各機能を複数の集積回路に分散した構成も採用され得る。

【0018】

入力装置１４は、利用者からの指示を受付ける機器（例えばマウスやキーボード）である。表示装置１６（例えば液晶表示装置）は、制御装置１０から指示された画像を表示する。放音装置１８（例えばスピーカやヘッドホン）は、制御装置１０が生成する音響信号ＳOUTに応じた音響を再生する。

【0019】

記憶装置１２は、制御装置１０が実行するプログラムＰGや制御装置１０が使用する各種のデータ（素片情報ＤV，楽譜情報ＤS，制御情報ＤC）を記憶する。半導体記録媒体や磁気記録媒体等の公知の記録媒体または複数種の記録媒体の組合せが記憶装置１２として任意に採用され得る。なお、複数の記録媒体にプログラムＰGや各データ（ＤV，ＤS，ＤC）を分散して記憶した構成も採用され得る。

【0020】

素片情報ＤVは、合成音の素材として利用されるデータ群であり、相異なる音声素片に対応する多数の素片データ（例えば音声素片の波形や特徴量を示すデータ）を含んで構成される。音声素片は、聴覚的に区別できる最小の単位である音素、または複数の音素を連結した音素連鎖である。

【0021】

楽譜情報ＤSは、各指定音を指示する情報（スコアデータ）であり、図２に示すように、相異なる指定音に対応する複数の単位情報Ｕの時系列で構成される。各単位情報Ｕは、音符情報ＵNと文字情報ＵLとを含む。音符情報ＵNは、指定音の音高と発音期間（指定音の発音の開始点および継続長）とを指定し、文字情報ＵLは、指定音の発音文字（歌詞の音節）を指定する。

【0022】

図１の制御情報ＤCは、各指定音の特性（音楽的な表情）を示す制御変数Ｘの時間的な変化を示す情報である。本実施形態では音量（dynamics）を制御変数Ｘとして例示する。ただし、制御変数Ｘが示す指定音の特性の種類や制御変数Ｘの総数は適宜に変更され得る。図１の情報生成部２２は、入力装置１４に対する利用者からの操作に応じて楽譜情報ＤSおよび制御情報ＤCを可変に設定する。

【0023】

図１の表示制御部２６は、楽譜情報ＤSや制御情報ＤCの生成や編集のために利用者が視認する図３の編集画面４０を生成して表示装置１６に表示させる。図３に示すように、編集画面４０は、各指定音の時系列を表示する楽譜領域４２と、制御変数Ｘの経時的な変化を表示する変数領域４４とを含んで構成される。

【0024】

楽譜領域４２は、音高を示す縦軸（以下「音高軸」という）と時間を示す横軸（以下「時間軸」という）とが設定されたピアノロール型の画像領域である。楽譜領域４２には、音高軸に平行な複数の直線４８が時間軸の方向に等間隔に配置される。時間軸において各直線４８で指示される位置は、楽曲内の拍点の時点に相当する。

【0025】

表示制御部２６は、楽譜領域４２のうち利用者が入力装置１４の操作で指示した任意の位置に音指示子５０を配置する。音指示子５０は、指定音毎に設定される矩形状の画像である。音高軸の方向における音指示子５０の位置が指定音の音高を示し、時間軸の方向における音指示子５０の位置が指定音の発音の時点を示す。また、表示制御部２６は、入力装置１４に対する利用者からの操作に応じて時間軸の方向における音指示子５０の長さを可変に設定する。時間軸の方向における音指示子５０の長さは、指定音の継続長（発音の始点から終点までの時間長）を示す。更に、表示制御部２６は、入力装置１４の操作で利用者が指定音毎に指示する発音文字（歌詞）を当該指定音の音指示子５０に付加する。

【0026】

図１の情報生成部２２は、利用者が楽譜領域４２に配置した音指示子５０毎に楽譜情報ＤSの各単位情報Ｕを生成して記憶装置１２に格納する。すなわち、各単位情報Ｕの音符情報ＵNは、音高軸の方向における音指示子５０の位置に応じた音高と、時間軸の方向における音指示子５０の位置および長さに応じた発音期間とを指定し、各単位情報Ｕの文字情報ＵLは、音指示子５０に付加された発音文字を指定する。

【0027】

図３の変数領域４４は、変数遷移画像４４２が配置される画像領域である。変数遷移画像４４２は、制御変数Ｘの経時的な変化を示すグラフ（折線グラフ）であり、楽譜領域４２内と共通の時間軸のもとで表示される。表示制御部２６は、入力装置１４に対する利用者からの操作に応じて変数遷移画像４４２を随時に更新する。情報生成部２２は、変数遷移画像４４２が示す制御変数Ｘの時間的な変化を示す制御情報ＤCを生成して記憶装置１２に格納する。

【0028】

入力装置１４に対する操作で利用者が合成音の再生を指示すると、図１の音響生成部２４は、記憶装置１２に格納された楽譜情報ＤSで指示される各指定音の音響信号ＳOUTを生成する。具体的には、音響生成部２４は、記憶装置１２に記憶された素片情報ＤVのうち各単位情報Ｕの文字情報ＵLで指定される発音文字に対応した素片データを、当該単位情報Ｕの音符情報ＵNで指定される音高および発音期間に調整し、調整後の各素片データを相互に連結することで音響信号ＳOUTを生成（音声合成）する。音響生成部２４による音響信号ＳOUTの生成には制御情報ＤCが適用される。すなわち、制御情報ＤCが時系列に指定する制御変数Ｘの各数値に対応して音響信号ＳOUTの特性（音量）が経時的に変動するように、音響生成部２４は音響信号ＳOUTを生成する。音響生成部２４が生成した音響信号ＳOUTは、放音装置１８に順次に供給されることで音響として再生される。

【0029】

音響信号ＳOUTの再生が開始されると、表示制御部２６は、図３に示すように、音響信号ＳOUTのうち実際に再生されている時点（以下「再生点」という）ｐを指示する再生指示子（ポインタ）４６を編集画面４０に表示させる。再生指示子４６は、音響信号ＳOUTの再生の進行とともに時間軸に沿って移動する。そして、表示制御部２６は、楽譜領域４２に配置された複数の音指示子５０のうち再生点ｐに対応する音指示子５０の態様を順次に変化させる。音指示子５０の態様の制御について以下に説明する。

【0030】

図４は、発音文字「さ[s_a]」が付加された音指示子５０の態様の変化を示す模式図である。図４には、音指示子５０の発音期間（始点ｔsから終点ｔeまでの期間）内の変数遷移画像４４２が便宜的に併記されている。再生指示子４６で指示される音響信号ＳOUTの再生点ｐが音指示子５０の発音期間の開始前に位置する場合、表示制御部２６は、図４の部分(A)に示すように、音指示子５０を標準的な態様（以下「標準態様」という）で表示する。標準態様では、音高軸の方向における音指示子５０の長さ（幅）Ｗが基準値Ｗ0に設定され、音指示子５０の階調（表示色の濃淡）Ｇが基準値Ｇ0に設定される。

【0031】

再生点ｐが音指示子５０の発音期間内に到達すると（図４の部分(B)または部分(C)）、表示制御部２６は、制御情報ＤCが時系列に示す制御変数Ｘに応じて音指示子５０の態様（幅Ｗおよび階調Ｇ）を可変に制御する。例えば、制御変数Ｘの数値ｘ1が所定の基準値ｘrefを上回る時点ｔ1では、図４の部分(B)に示すように、音指示子５０の幅Ｗは基準値Ｗ0を上回る数値Ｗ1に設定され、かつ、音指示子５０の階調Ｇは基準値Ｇ0よりも高濃度側（濃い階調）の数値Ｇ1に設定される。他方、制御変数Ｘの数値ｘ2が所定の基準値ｘrefを下回る時点ｔ2では、図４の部分(C)に示すように、音指示子５０の幅Ｗは基準値Ｗ0を下回る数値Ｗ2に設定され、かつ、音指示子５０の階調Ｇは基準値Ｇ0よりも低濃度側（淡い階調）の数値Ｇ2に設定される。なお、以上の説明では、時点ｔ1および時点ｔ2に着目したが、音指示子５０の態様は、音響信号ＳOUTの再生の進行（再生指示子４６の移動）とともに連続的に変化する。

【0032】

以上の例示のように、制御変数Ｘの数値が大きいほど音指示子５０の幅Ｗおよび階調Ｇが増加するように、表示制御部２６は、制御情報ＤCで指定される制御変数Ｘに応じて音指示子５０の態様を経時的に変化させる。すなわち、音響信号ＳOUTの特性（音量）の変化が音指示子５０の態様（幅Ｗおよび階調Ｇ）で模擬的に表現される。

【0033】

他方、音響信号ＳOUTの再生点ｐが音指示子５０の発音期間の終点ｔeを経過すると、表示制御部２６は、図４の部分(D)に示すように音指示子５０を標準態様に設定する。以上に説明した処理（音指示子５０の態様の制御）が、楽譜領域４２内の各音指示子５０について音響信号ＳOUTの再生の進行とともに順次に実行される。

【0034】

以上の形態によれば、音響信号ＳOUTの再生の進行とともに制御変数Ｘに応じて音指示子５０の態様が経時的に変化するから、各指定音の特性（音量）の変化を利用者が直感的に把握できるという利点がある。また、各音指示子５０の態様が固定された構成と比較して、編集画面４０を利用して各指定音を編集する作業の興趣性を向上することが可能である。

【0035】

＜Ｂ：第２実施形態＞
次に、本発明の第２実施形態を説明する。なお、以下の各例示において作用や機能が第１実施形態と同等である要素については、以上の説明で参照した符号を流用して各々の詳細な説明を適宜に省略する。

【0036】

図５は、第２実施形態における楽譜情報ＤSの模式図である。図５に示すように、第２実施形態の楽譜情報ＤSを構成する各単位情報Ｕは、音符情報ＵNおよび文字情報ＵLに加えて制御情報ＵCを含み得る。制御情報ＵCは、指定音の音高の微小変化を指定する情報であり、先頭変動情報ＶAとビブラート情報ＶBとを含んで構成される。先頭変動情報ＶAおよびビブラート情報ＶBは、入力装置１４に対する利用者からの操作に応じて情報生成部２２が可変に生成する。なお、音高の微小変化が付加されない指定音の単位情報Ｕは制御情報ＵCを含まない。

【0037】

図６は、指定音の音高の微小変化を示す模式図である。相前後する指定音の間で音高が変化する場合、図６に示すように、後方の指定音の発音期間内の先頭にプレパレーション（期間ＴA1）およびオーバーシュート（期間ＴA2）を付加すると、指定音間の音高の変動が聴感的に自然な印象となる。プレパレーションは、指定音間の音高の変化とは逆方向に瞬時的に音高を変化させる歌唱法であり、オーバーシュートは、変化後の音高（Ｎ0）を瞬時的に越えるように音高を変化させる歌唱法である。

【0038】

図５の先頭変動情報ＶAは、指定音に付加されるプレパレーションおよびオーバーシュートの特性を指示する。具体的には、先頭変動情報ＶAは、プレパレーションによる音高の変動量（直前の指定音の音高との差異）δA1およびプレパレーション期間（開始点および継続長）ＴA1と、オーバーシュートによる音高の変動量（目標の音高Ｎ0との差異）δA2およびオーバーシュート期間（開始点および継続長）ＴA2とを指定する。

【0039】

図５のビブラート情報ＶBは、指定音の発音期間のうちビブラート期間ＴBに付加されるビブラートの特性を指示する。例えば、ビブラート情報ＶBは、ビブラート期間ＴB（開始点および継続長）とビブラート深度δB1とビブラート速度δB2とを含んで構成される。図６に示すように、ビブラート深度δB1は、ビブラートによる音高の変動幅を意味し、ビブラート速度δB2は、ビブラートによる音高の変化の速度（周波数）を意味する。

【0040】

音響生成部２４は、音符情報ＵNで指定される各指定音の音高が制御情報ＵC（先頭変動情報ＶA，ビブラート情報ＶB）に従って微小変化するように音響信号ＳOUTを生成する。他方、音響生成部２４による音響信号ＳOUTの再生が開始すると、表示制御部２６は、制御情報ＵC（先頭変動情報ＶA，ビブラート情報ＶB）で指定される各指定音の音高の微小変化に応じて音指示子５０の態様を制御する。以下の説明では、音響信号ＳOUTの再生点ｐが、指定音（発音文字「さ[s_a]」）の発音期間のうちのプレパレーション期間ＴA1またはオーバーシュート期間ＴA2内に位置する場合と、ビブラート期間ＴB内に位置する場合とに区分して、音指示子５０の態様の変化を詳述する。

【0041】

（１）プレパレーション期間ＴA1，オーバーシュート期間ＴA2
先頭変動情報ＶAで指定されるプレパレーション期間ＴA1またはオーバーシュート期間ＴA2内に音響信号ＳOUTの再生点ｐが位置する場合、表示制御部２６は、音指示子５０の端部（時間軸の方向の左端部）５２の音高軸の方向における位置を、先頭変動情報ＶAが示す音高の微小変動（プレパレーションおよびオーバーシュート）に連動するように可変に制御する。

【0042】

図６の部分(A1)に示すように、再生指示子４６で指示される音響信号ＳOUTの再生点ｐが、先頭変動情報ＶAで指定されるプレパレーション期間ＴA1の開始前に位置する場合、音指示子５０の形状は、全体が時間軸に沿った直線状に設定される。

【0043】

音響信号ＳOUTの再生が進行して再生点ｐがプレパレーション期間ＴA1内に到達すると、表示制御部２６は、図６の部分(A2)に示すように、プレパレーションによる音高の変化の方向（音高軸の方向の低音側）に端部５２が移動するように音指示子５０を変形（湾曲）させる。具体的には、音高軸の方向における端部５２の移動量ΔA1が、プレパレーション期間ＴA1の始点ｔA1sから中央点にかけて増加して、先頭変動情報ＶAが示す変動量δA1に応じた最大値に到達し、そこからプレパレーション期間ＴA1の終点ｔA1eにかけて減少するように、プレパレーション期間ＴA1の始点ｔA1sから終点ｔA1eにわたる再生点ｐの移動とともに音指示子５０が連続的に変形する。

【0044】

他方、音響信号ＳOUTの再生点ｐがオーバーシュート期間ＴA2内に到達すると、表示制御部２６は、図６の部分(A3)に示すように、オーバーシュートによる音高の変化の方向（音高軸の方向の高音側）に端部５２が移動するように音指示子５０を変形（湾曲）させる。具体的には、音高軸の方向における端部５２の移動量ΔA2が、オーバーシュート期間ＴA2の始点ｔA2sから増加して先頭変動情報ＶA内の変動量δA2に応じた最大値に到達し、そこからオーバーシュート期間ＴA2の終点ｔA2eにかけて減少するように音指示子５０が連続的に変形する。

【0045】

音響信号ＳOUTの再生点ｐがオーバーシュート期間ＴA2の終点ｔA2eを経過すると、表示制御部２６は、図６の部分(A4)に示すように、音指示子５０を変形前の形状（時間軸に沿った直線状）に設定する。以上の説明から理解されるように、先頭変動情報ＶAで指示されるプレパレーションおよびオーバーシュートによる音高の微小変動が音指示子５０の端部５２の移動で模擬的に表現される。

【0046】

（２）ビブラート期間ＴB
図６の部分(B1)に示すように、音響信号ＳOUTの再生点ｐがビブラート期間ＴB（始点ｔBs）の開始前に位置する場合、表示制御部２６は、音符情報ＵNで指定された音高（以下「指定音高」という）Ｎ0に対応する音高軸上の位置（以下「基準位置」という）Ｐrefに中心線が合致するように音指示子５０を配置する。

【0047】

指定音の発音期間のうちビブラート情報ＶBで指定されるビブラート期間ＴB内に音響信号ＳOUTの再生点ｐが到達すると、表示制御部２６は、ビブラート情報ＶBが示す音高の変動（ビブラート）に連動するように、音高軸の方向における音指示子５０（全体）の位置を可変に制御する。具体的には、表示制御部２６は、ビブラートによる音響信号ＳOUTの音高の微小変動に連動するように、基準位置Ｐrefを中心として音高軸の方向に音指示子５０を連続的に振動させる。

【0048】

例えば、音響信号ＳOUTの音高がビブラートにより指定音高Ｎ0を上回る時点ｔB1では、表示制御部２６は、音指示子５０の中心線が基準位置Ｐrefよりも高音側（上方）に位置するように音指示子５０の位置を制御する。他方、音響信号ＳOUTの音高がビブラートにより指定音高Ｎ0を下回る時点ｔB2では、表示制御部２６は、音指示子５０の中心線が基準位置Ｐrefよりも低音側（下方）に位置するように音指示子５０の位置を制御する。以上の説明では時点ｔB1および時点ｔB2のみに着目したが、音指示子５０は、音響信号ＳOUTの再生の進行とともに音高軸に沿って連続的に移動（振動）する。

【0049】

音指示子５０の振動の振幅は、ビブラート情報ＶBで指定されるビブラート深度δB1に応じて可変に設定される。例えば、ビブラート深度δB1が大きいほど音指示子５０の振動の振幅は増加する。また、音指示子５０の振動の周波数は、ビブラート情報ＶBで指定されるビブラート速度δB2に応じて可変に設定される。例えば、ビブラート速度δB2が大きいほど音指示子５０の振動の周波数は増加する。以上の説明から理解されるように、ビブラート情報ＶBで指示されるビブラートによる指定音の音高の変動が音指示子５０の移動（振動）で模擬的に表現される。

【0050】

以上の形態によれば、制御情報ＵCが指定する音高の微小変化に連動して音指示子５０の態様（形状や位置）が変化するから、音響信号ＳOUTの音高の微小変化を利用者が直感的に把握できるという利点がある。また、各音指示子５０の態様が固定された構成と比較して、編集画面４０を利用して各指定音を編集する作業の興趣性を向上することが可能である。

【0051】

＜Ｃ：第３実施形態＞
図３において、発音文字「あ[a]」および発音文字「さ[s_a]」の各指定音の発音期間の始点は、直線４８が示す拍点に合致する。他方、発音文字「が[g_a]」の指定音については、発音期間の始点を拍点から遅延させる歌唱法（いわゆる「溜め」）が指示されている。第３実施形態の表示制御部２６は、発音期間の始点が拍点に合致しない指定音の音指示子５０の態様を可変に制御する。

【0052】

図７は、第３実施形態における音指示子５０の態様の変化を説明するための模式図である。音符情報ＵNで指定される発音期間の始点ｔsが、直線４８に対応する拍点ｂから遅延している場合を以下では想定する。図７の部分(A)に示すように、再生指示子４６で指示される音響信号ＳOUTの再生点ｐが拍点ｂに到達していない段階では、第１実施形態や第２実施形態と同様に、音指示子５０の端点Ｅは時点ｔs（発音期間の始点）に位置する。

【0053】

音響信号ＳOUTの再生が進行して再生点ｐが拍点ｂに到達すると、表示制御部２６は、図７の部分(B)に示すように、音指示子５０の端点Ｅが時点ｔsから距離ｄだけ右側（時間の経過側）の時点ｔxに位置するように音指示子５０を時間軸の方向に移動させて維持する。音指示子５０の移動の距離ｄは、例えば拍点ｂと時点ｔsとの時間差（拍点ｂに対する発音の遅延量）に応じて可変に設定される。例えば、拍点ｂと時点ｔxとの時間差が大きいほど距離ｄは増加する。

【0054】

音符情報ＵNで指定される発音期間の始点ｔsに音響信号ＳOUTの再生点ｐが到達すると、表示制御部２６は、端点Ｅが時点ｔsに合致するまで音指示子５０を時間軸に沿って経時的に移動させる。具体的には、表示制御部２６は、音指示子５０を時間軸の方向に振動させながら徐々に振動を減衰させ、最終的に端点Ｅが時点ｔsに合致するように音指示子５０の振動を収束させる。すなわち、弾性的に支持された物体に作用する負荷を解放したときの当該物体の挙動が端点Ｅで模擬されるように音指示子５０の時間軸上の位置が制御される。

【0055】

以上のように、拍点ｂから遅延して発音される指定音（すなわち、溜めて歌唱される歌唱音）の音指示子５０を時間軸の方向に移動させ、再生点ｐが実際の発音期間の始点ｔsに接近した時点で音指示子５０が初期の位置に復帰する。すなわち、発音を溜める様子が音指示子５０の挙動で模擬的に表現される。したがって、各指定音の発音の溜め（特性）を利用者が直感的に把握できるという利点がある。また、各音指示子５０の態様が固定された構成と比較して、編集画面４０を利用して各指定音を編集する作業の興趣性を向上することが可能である。

【0056】

なお、以上の説明では、発音期間の始点ｔsを拍点ｂから遅延させた場合（溜め）を例示したが、例えば図８の部分(A)に示すように、発音期間の始点ｔsを拍点ｂに先行させる歌唱法（いわゆる「走り」）が指示された指定音についても、以下に説明するように、音指示子５０の態様が溜めの場合と同様に制御され得る。

【0057】

例えば、音符情報ＵNで指定される発音期間の始点ｔsよりも手前の時点ｔ0に音響信号ＳOUTの再生点ｐが到来すると、表示制御部２６は、図８の部分(B)に示すように、時点ｔsと拍点ｂとの時間差に応じた距離ｄだけ時点ｔsから右側の時点ｔxに端点Ｅが位置するように音指示子５０を移動させる。そして、音響信号ＳOUTの再生点ｐが発音期間の始点ｔsに到達すると、表示制御部２６は、図８の部分(C)に示すように、端点Ｅが時点ｔsに合致するまで音指示子５０を振動させながら経時的に移動させる。以上の構成によれば、歌唱の走りの様子を音指示子５０の挙動で模擬的に表現することが可能である。したがって、各指定音の発音の走りを利用者が直感的に把握できるという利点がある。

【0058】

＜Ｄ：変形例＞
以上の各形態は多様に変形され得る。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２以上の態様は適宜に併合され得る。

【0059】

（１）変形例１
音指示子５０の態様の変化に適用される指定音の特性は、第１実施形態における指定音の音量（制御変数Ｘ）や、第２実施形態における指定音の音高の微小変動や、第３実施形態における指定音の発音期間の始点ｔsと拍点ｂとの時間差に限定されない。例えば、例えば、指定音に付加される息成分の強弱（breathiness），明瞭度（brightness，clearness），発音時の開口度（opening），発音者の性別（genderfactor），音高を連続的に変化（ポルタメント）させる時点（portamento-timing）など、音響信号ＳOUTの生成に適用され得る任意の変数（制御変数Ｘ）が、指定音の特性を示す数値として音指示子５０の態様の制御に適用され得る。

【0060】

（２）変形例２
指定音の特性に応じて表示制御部２６が制御する音指示子５０の態様の種類は、第１実施形態における音指示子５０の幅Ｗおよび階調Ｇや、第２実施形態における音指示子５０（全部または端部５２）の音高軸上の位置や、第３実施形態における音指示子の時間軸上の位置に限定されない。例えば、音指示子５０の表示色（色相，明度，彩度）や形状や模様等の任意の種類の態様が可変に制御される。また、以上の形態では音指示子５０を平面的な図形としたが、音指示子５０を立体的に表示した構成も採用され得る。例えば立体的に表示された音指示子５０の奥行きを指定音の特性に応じて可変に制御する構成が好適である。以上の例示から理解されるように、音指示子５０の態様とは、観察者が視覚的に認識できる画像の状態（典型的には音指示子５０の形状，寸法，位置，階調，表示色など）を包括する概念である。

【0061】

（３）変形例３
音指示子５０の特性の種類と当該特性に応じて可変に制御される音指示子５０の態様の種類との組合せは任意である。例えば、図５の制御情報ＵCが示す音高の微小変化（プレパレーション，オーバーシュート，ビブラート）に連動して音指示子５０の幅Ｗや階調Ｇを変化させる構成や、第３実施形態にて音指示子５０の位置を変更する構成に代えて（またはこの構成とともに）、音指示子５０の他の態様（例えば形状や階調）を変更する構成が採用され得る。

【0062】

（４）変形例４
以上に例示した各形態は適宜に併合され得る。例えば、制御情報ＤCに応じて音指示子５０の幅Ｗおよび階調Ｇを可変に制御し（第１実施形態）、かつ、各指定音の制御情報ＵCに応じて音指示子５０の音高軸上の位置を可変に制御する（第２実施形態）構成が好適に採用される。

【0063】

（５）変形例５
以上の各形態では、音響信号ＳOUTの再生点ｐを指示する再生指示子４６を編集画面４０に配置したが、再生指示子４６は省略され得る。音響信号ＳOUTの再生点ｐに応じて各音指示子５０の態様が変化するから、再生指示子４６を省略した構成でも、利用者は現在の再生点ｐを確認することが可能である。

【符号の説明】

【0064】

１００……音響処理装置、１０……制御装置、１２……記憶装置、１４……入力装置、１６……表示装置、１８……放音装置、２２……情報生成部、２４……音響生成部、２６……表示制御部、４０……編集画面、４２……楽譜領域、４４……変数領域、４６……再生指示子、５０……音指示子、５２……端部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】