特許 7683706 データ変更方法、データ再生方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-05-19

(45)【発行日】2025-05-27

(54)【発明の名称】データ変更方法、データ再生方法、およびプログラム

(51)【国際特許分類】

   G10H 1/00 20060101AFI20250520BHJP

   G10G 3/04 20060101ALI20250520BHJP

【ＦＩ】

G10H1/00 102Z

G10G3/04

【請求項の数】 14

(21)【出願番号】P 2023544924

(86)(22)【出願日】2021-09-02

(86)【国際出願番号】 JP2021032374

(87)【国際公開番号】W WO2023032137

(87)【国際公開日】2023-03-09

【審査請求日】2024-03-01

(73)【特許権者】

【識別番号】000004075

【氏名又は名称】ヤマハ株式会社

(74)【代理人】

【識別番号】110000408

【氏名又は名称】弁理士法人高橋・林アンドパートナーズ

(72)【発明者】

【氏名】磯崎 善政

(72)【発明者】

【氏名】宇佐 聡史

(72)【発明者】

【氏名】藤島 琢哉

(72)【発明者】

【氏名】山本 和彦

【審査官】大野 弘

(56)【参考文献】

【文献】特開平１０－１７７３８２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ１０Ｈ １／００

Ｇ１０Ｇ １／００

Ｇ１０Ｇ ３／０４

(57)【特許請求の範囲】

【請求項1】

発音のタイミング情報を定義する発音制御データに対して適用する変更方法を、第１変更方法および第２変更方法を含む複数の変更方法から選択するための選択ユーザインターフェースを提供し、
前記第１変更方法を適用することが選択された場合に、前記タイミング情報を補正し、所定のデータ区間に対して当該データ区間における前記タイミング情報の補正量に応じた補正情報を追加することによって、前記発音制御データを変更し、
前記第２変更方法を適用することが選択された場合に、所定のテンポに応じた拍の位置に基づいて前記タイミング情報を補正することによって、前記発音制御データを変更すること、
を含むデータ変更方法。

【請求項2】

テンポを設定して演奏記録を指示するための記録ユーザインターフェースを提供し、
前記演奏記録の開始が指示されると、設定された前記テンポで拍情報を提供し、
前記拍情報を提供している間に入力される演奏情報に基づいて前記発音制御データを記録し、
前記演奏記録の停止が指示されると、記録した前記発音制御データに対して適用すべき変更方法を選択するための前記選択ユーザインターフェースを提供する、請求項１に記載のデータ変更方法。

【請求項3】

前記複数の変更方法は、第３変更方法をさらに含み、
前記第３変更方法を適用することが選択された場合に、指定された所定の発音のタイミング情報を補正し、当該所定の発音に続く複数の発音のタイミング情報を補正することによって、前記発音制御データを変更する、請求項１または請求項２に記載のデータ変更方法。

【請求項4】

所定のテンポで記録された発音のタイミング情報を定義する発音制御データに基づいて、複数の拍の位置を検出し、
複数の前記拍の位置と前記テンポとの関係に基づいて前記タイミング情報を補正し、所定のデータ区間に対して当該データ区間における前記タイミング情報の補正量に応じた補正情報を追加することによって、前記発音制御データを変更すること、
を含むデータ変更方法。

【請求項5】

所定のテンポで拍情報を提供し、
前記拍情報を提供している間に入力される演奏情報に基づいて、前記発音制御データを記録すること、
をさらに含み、
前記拍情報の提供タイミングに対応して前記補正情報が追加されている、請求項４に記載のデータ変更方法。

【請求項6】

前記複数の拍の位置を検出することは、
前記発音制御データをオーディオデータに変換し、
前記オーディオデータに基づいて複数の拍の位置を検出すること、
を含む、
請求項４または請求項５に記載のデータ変更方法。

【請求項7】

検出された前記拍の位置を補正するための第１ユーザインターフェースを提供することをさらに含み、
前記発音制御データを変更することは、前記第１ユーザインターフェースを介して補正された後の複数の前記拍の位置と設定されたテンポとの関係に基づいて、前記タイミング情報を補正することを含む、請求項６に記載のデータ変更方法。

【請求項8】

記録された前記発音制御データまたは前記オーディオデータと、前記第１ユーザインターフェースを介して補正された後の前記拍の位置と、を対応付けてデータベースに登録することをさらに含む、請求項７に記載のデータ変更方法。

【請求項9】

前記発音制御データにおける所定の発音のタイミング情報を補正するための第２ユーザインターフェースを提供し、
前記第２ユーザインターフェースを介して指示された前記所定の発音のタイミング情報を補正し、当該所定の発音に続く複数の発音のタイミング情報をさらに補正することによって、前記発音制御データをさらに変更すること、
をさらに含む、請求項６から請求項８のいずれかに記載のデータ変更方法。

【請求項10】

前記第２ユーザインターフェースを介して指示された前記所定の発音のタイミング情報を補正し、当該所定の発音に続く複数の発音のタイミング情報をさらに補正するときには、前記補正情報の対象となる前記データ区間をさらに変更することによって、前記発音制御データをさらに変更する、請求項９に記載のデータ変更方法。

【請求項11】

請求項４から請求項１０のいずれかに記載のデータ変更方法によって変更された前記発音制御データに基づいて音波形信号を音源部により再生するためのデータ再生方法であって、
前記音源部に音波形信号を再生させるための発音指示信号の生成方法を、第１再生方法および第２再生方法を含む複数の再生方法から選択するための第３ユーザインターフェースを提供し、
前記第１再生方法が選択された場合に、所定のテンポに応じて前記発音制御データを読み出し、前記補正情報を利用して前記発音指示信号を生成し、
前記第２再生方法が選択された場合に、拍を進行させる進行指示信号に応じた前記データ区間の前記発音制御データを読み出して前記発音指示信号を生成すること、
を含む、データ再生方法。

【請求項12】

演奏記録を指示するための記録ユーザインターフェースを提供し、
前記演奏記録の開始が指示されると、入力される演奏情報に基づいて、発音のタイミング情報を定義する発音制御データを記録し、
前記演奏記録の停止が指示されると、記録した前記発音制御データに対して適用すべき変更方法を、第１変更方法および第２変更方法を含む複数の変更方法から選択するための選択ユーザインターフェースを提供し、
選択された変更方法に基づいて前記発音制御データを変更し、
変更された前記発音制御データに基づいて演奏音を再生すること、
を含むデータ変更方法。

【請求項13】

請求項１乃至１０および請求項１２の何れか一項に記載のデータ変更方法をコンピュータに実行させるためのプログラム。

【請求項14】

請求項１１に記載のデータ再生方法をコンピュータに実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、発音を制御するためのデータを変更する方法に関する。

【背景技術】

【0002】

ＭＩＤＩデータ等の発音を制御するデータ（以下、発音制御データという）に基づいて、自動演奏をすることによって音波形信号を生成する技術が存在する。一般的に、発音制御データには自動演奏の速度（テンポ）が定義されている。すなわち、発音制御データを再生すると、発音制御データに記録された演奏音が再現される。特許文献１、２、３に示すように、ユーザの動きに応じてテンポを制御する技術も開発されている。ユーザによるテンポの制御は、例えば、ユーザが手に持った携帯装置を指揮棒のようにして振ることによって実現される。したがって、発音制御データに記録された演奏音がそのまま再現されるのではなく、ユーザの動作に応じて再生速度が変化した演奏音が再現される。

【先行技術文献】

【特許文献】

【0003】

【文献】特開平８－２７２３６２号公報

【文献】特開平９－１６１６９号公報

【文献】実用新案登録第３２２７５４８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ユーザの動作によるテンポ制御での自動演奏と、予め決められたテンポ制御での自動演奏と、のいずれか一方が選択されて、選択された自動演奏が実現されることもある。このような場合、ユーザの動作によるテンポ制御が可能な発音制御データと、予め決められたテンポ制御が可能な発音制御データとは、共通のデータとして生成されることが望ましい。予めテンポが決められた発音制御データは一般的に存在するため、予めテンポが決められた発音制御データを、ユーザによるテンポ制御が可能な発音制御データとしても用いることができるように変更することが望まれる。

【0005】

本開示の目的の一つは、演奏音が記録された発音制御データを、ユーザの動作によるテンポ制御を可能とするデータに容易に変更することにある。

【課題を解決するための手段】

【0006】

本開示の一実施形態によれば、発音のタイミング情報を定義する発音制御データに対して適用する変更方法を、第１変更方法および第２変更方法を含む複数の変更方法から選択するための選択ユーザインターフェースを提供し、前記第１変更方法を適用することが選択された場合に、前記タイミング情報を補正し、所定のデータ区間に対して当該データ区間における前記タイミング情報の補正量に応じた補正情報を追加することによって、前記発音制御データを変更し、前記第２変更方法を適用することが選択された場合に、所定のテンポに応じた拍の位置に基づいて前記タイミング情報を補正することによって、前記発音制御データを変更すること、を含むデータ変更方法が提供される。

【0007】

本開示の一実施形態によれば、所定のテンポで記録された発音のタイミング情報を定義する発音制御データに基づいて、複数の拍の位置を検出し、複数の前記拍の位置と前記テンポとの関係に基づいて前記タイミング情報を補正し、所定のデータ区間に対して当該データ区間における前記タイミング情報の補正量に応じた補正情報を追加することによって、前記発音制御データを変更すること、を含むデータ変更方法が提供される。

【発明の効果】

【0008】

本開示の一実施形態によれば、演奏音が記録された発音制御データを、ユーザの動作によるテンポ制御を可能とするデータに容易に変更することができる。

【図面の簡単な説明】

【0009】

【図1】一実施形態におけるシステム構成を示す図である。

【図2】一実施形態における携帯装置および電子楽器のハードウェア構成を示す図である。

【図3】一実施形態における記録モードの処理を示すフローチャートである。

【図4】記録ユーザインターフェースの例（記録開始の指示前）を示す図である。

【図5】記録ユーザインターフェースの例（記録開始の指示後）を示す図である。

【図6】選択ユーザインターフェースの例を示す図である。

【図7】一実施形態における記録モードの処理（図３に続く部分）を示すフローチャートである。

【図8】一実施形態におけるＡＩクオンタイズ処理を示すフローチャートである。

【図9】拍補正ユーザインターフェースの例（補正指示前）を示す図である。

【図10】拍補正ユーザインターフェースの例（補正指示前）を示す図である。

【図11】発音制御データの例を説明するための図である。

【図12】一実施形態におけるデータ補正処理を示すフローチャートである。

【図13】タイミング情報を補正するときの例を説明するための図である。

【図14】変更前後の発音制御データを比較して説明するための図である。

【図15】一実施形態におけるＭＩＤＩクオンタイズ処理を示すフローチャートである。

【図16】クオンタイズ設定ユーザインターフェースの例を示す図である。

【図17】一実施形態におけるディレイオフセット処理を示すフローチャートである。

【図18】オフセット設定ユーザインターフェースの例を示す図である。

【図19】ディレイオフセット前後の発音制御データを比較して説明するための図である。

【図20】ディレイオフセット前後の発音制御データを比較して説明するための図である。

【図21】一実施形態におけるデータ再生処理を示すフローチャートである。

【図22】再生ユーザインターフェースの例を示す図である。

【発明を実施するための形態】

【0010】

以下、本発明の一実施形態について、図面を参照しながら詳細に説明する。以下に示す実施形態は一例であって、本発明はこれらの実施形態に限定して解釈されるものではない。本実施形態で参照する図面において、同一部分または同様な機能を有する部分には同一の符号または類似の符号（数字の後にＡ、Ｂなど付しただけの符号）を付し、その繰り返しの説明は省略する場合がある。

【0011】

［１．全体構成］
図１は、一実施形態におけるシステム構成を示す図である。図１に示すシステムは、インターネット等のネットワークＮＷを介して接続された携帯装置１０およびデータ管理サーバ９０を含み、さらに携帯装置１０に接続された電子楽器８０を含む。電子楽器８０の機能の少なくとも一部が携帯装置１０に含まれていてもよい。携帯装置１０は、この例では、スマートフォンなどの携帯可能な通信端末である。電子楽器８０は、この例では、電子ピアノなどの電子鍵盤装置である。

【0012】

携帯装置１０は、電子楽器８０に対する演奏を記録すること、記録した演奏を電子楽器８０において再生させることができる。この再生においては、記録した演奏をそのまま再生すること、およびユーザの動作（例えば携帯装置１０を指揮棒のようにして振る動作）にしたがった速度で再生することのいずれかを選択することができる。携帯装置１０は、記録した演奏に対応するデータを生成し、上記のいずれかの再生においても用いることができるようにデータを変更することができる。このような各機能を実現するための具体的な処理については、後述する。

【0013】

データ管理サーバ９０は、制御部９１０、記憶部９２０および通信部９８０を含む。制御部９１０は、ＣＰＵ、ＲＡＭおよびＲＯＭを含む。制御部９１０は、記憶部９２０に記憶されたプログラムを、ＣＰＵを用いて実行することによって、プログラムに記述された命令にしたがった処理を行う。記憶部９２０は、不揮発性メモリ、ハードディスクドライブなどの記憶装置を含む。通信部９８０は、ネットワークＮＷに接続して、他の装置と通信するための通信モジュールを含む。データ管理サーバ９０は、携帯装置１０において生成されるデータの一部を記憶部９２０において保存し、そのデータを利用した処理を実行する。具体的な処理の内容は後述する。一実施形態において、データ管理サーバ９０は、存在しなくてもよい。

【0014】

［２－１．携帯装置の構成］
図２は、一実施形態における携帯装置および電子楽器のハードウェア構成を示す図である。携帯装置１０は、制御部１１０、記憶部１２０、表示部１３０、操作部１４０、センサ部１５０、スピーカ１７０、通信部１８０およびインターフェース１９０を含む。携帯装置１０は、これらの構成を全て含むものに限定されず、カメラ、位置検出部などさらに別の構成を含んでいてもよい。

【0015】

制御部１１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などのプロセッサおよびＲＡＭ等の記憶装置を備えるコンピュータの一例である。制御部１１０は、記憶部１２０に記憶されたプログラム１２１を、ＣＰＵ（プロセッサ）を用いて実行し、後述する様々な処理を実行するための機能を携帯装置１０において実現させる。

【0016】

記憶部１２０は、不揮発性メモリ、ハードディスクドライブなどの記憶装置である。記憶部１２０は、制御部１１０において実行されるプログラム１２１およびこのプログラム１２１を実行するときに必要となる各種データを記憶する。プログラム１２１は、データ管理サーバ９０または他のサーバからネットワークＮＷ経由でダウンロードされ、記憶部１２０に記憶されることによって、携帯装置１０にインストールされる。プログラム１２１は、非一過性のコンピュータに読み取り可能な記録媒体（例えば、磁気記録媒体、光記録媒体、光磁気記録媒体、半導体メモリ等）に記録した状態で提供されてもよい。この場合、携帯装置１０は、この記録媒体を読み取る装置を備えていればよい。記憶部１２０も記録媒体の一例といえる。

【0017】

記憶部１２０に記憶されるデータは、例えば、演奏記録データ１２３を含む。演奏記録データ１２３は、演奏に関する様々なデータを含み、例えば、演奏曲の名称などのメタデータおよび演奏音に関するデータを含む。演奏音に関するデータは、演奏による発音のタイミング情報を定義する発音制御データ１２５を含む。発音制御データ１２５は、所定の形式で記述されたデータであり、例えば、ＭＩＤＩ形式により記述されたデータである。この場合、発音のタイミング情報は、音が発生するタイミングを示す情報であり、例えば、ノートオン、ノートオフ、デルタタイム、テンポなどの情報によって示される。発音に対応する他の情報、例えば、音高（ノートナンバ）等の情報も発音制御データ１２５に含まれる。

【0018】

表示部１３０は、制御部１１０の制御に応じて様々な画面を表示する表示領域を有するディスプレイである。表示される画面は、後述する複数のユーザインターフェースを含む。操作部１４０は、ユーザの操作に応じた信号を制御部１１０に出力する操作装置である。この例では、操作部１４０は、表示部１３０の表面に配置されたタッチセンサである。そのため、表示部１３０および操作部１４０は、互いの機能によってタッチパネルとして用いられる。操作部１４０は、携帯装置１０の筐体に配置されたスイッチ等を含んでもよい。

【0019】

センサ部１５０は、携帯装置１０の動きに応じた信号を制御部１１０に出力する。センサ部１５０は、例えば、加速度センサ、ジャイロセンサ等を含み、携帯装置１０の動きを測定する。スピーカ１７０は、制御部１１０から供給される音波形信号を増幅して出力することによって、音を発生する。

【0020】

通信部１８０は、制御部１１０の制御により、ネットワークＮＷと接続して、ネットワークＮＷに接続されたデータ管理サーバ９０など他の装置と通信をするための無線通信モジュールである。インターフェース１９０は、赤外線通信、近距離無線通信によって電子楽器８０など他の装置と通信するための通信モジュールを含む。インターフェース１９０は、ネットワークＮＷを介さずに通信するために用いられる。インターフェース１９０は、無線通信ではなく有線通信をするモジュールを有していてもよい。

【0021】

［２－２．電子楽器の構成］
電子楽器８０は、上述したように、電子ピアノなどの電子鍵盤装置であって、演奏操作子８１０、音源部８３０、スピーカ８７０およびインターフェース８９０を含む。演奏操作子８１０は、複数の鍵を含み、各鍵への操作に応じた信号を音源部８３０に出力する。インターフェース８９０は、無線または有線によって外部装置と通信するための通信モジュールを含む。この例では、インターフェース８９０は、携帯装置１０のインターフェース１９０と短距離無線通信により接続して、所定のフォーマット（この例ではＭＩＤＩ形式）のデータを送受信する。

【0022】

音源部８３０は、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）を含み、発音指示信号に応じて音波形信号を生成する。発音指示信号は、演奏操作子８１０から出力される信号およびインターフェース８９０を介して携帯装置１０から送信されるデータに対応する。また、音源部８３０は、演奏操作子８１０から出力される信号に応じた発音指示信号を、ＭＩＤＩ形式のデータに変換してインターフェース８９０に出力する。これによって、電子楽器８０は、演奏操作子８１０への操作に対応するデータ（以下、演奏情報という場合がある）を携帯装置１０へ送信することもできる。

【0023】

［３．記録モード］
続いて、電子楽器８０に対する演奏を携帯装置１０において記録するときの処理について説明する。このように演奏を記録する処理モードを記録モードという。携帯装置１０は、記録モードを開始する指示がユーザによって入力されると、記録モードの処理を開始する。

【0024】

図３は、一実施形態における記録モードの処理を示すフローチャートである。図４は、記録ユーザインターフェースの例（記録開始指示前）を示す図である。図５は、記録ユーザインターフェースの例（記録指示後）を示す図である。制御部１１０は、以下に説明する画面を表示部１３０に表示することによって、記録ユーザインターフェース（記録ＵＩ）をユーザに提供する（ステップＳ１０１）。図４に示す記録ユーザインターフェース（以下、インターフェースＲＤという場合がある）は、演奏記録の開始が指示される前における表示例である。インターフェースＲＤは、記録時のテンポ（以下、記録テンポという場合がある）を設定するための領域ＴＳ、記録時間を表示する領域ＲＴ、および記録開始および記録終了を指示するための記録ボタンＲＢを含む。

【0025】

制御部１１０は、演奏の記録開始の指示が入力されるまで待機する（ステップＳ１０３；Ｎｏ）。図４に示す記録ボタンＲＢが操作されることによって記録開始の指示が携帯装置１０に入力される（ステップＳ１０３；Ｙｅｓ）と、制御部１１０は、図５に示すように記録ボタンＲＢの表示を変更し、演奏の記録を開始するために、ユーザに対する拍の提供を開始する（ステップＳ１０５）。拍の提供は、例えば、携帯装置１０からメトロノーム音を発生させることによって実現される。メトロノーム音は、記録テンポにより定まる間隔で特定される各拍に対応して発生する。例えば、記録テンポが１２０であれば、１拍の長さ５００ミリ秒でメトロノーム音が発生する。携帯装置１０は、ユーザに対して音により拍を提供する場合に限らず、光、振動などによって拍を提供してもよい。

【0026】

制御部１１０は、記録終了の指示が入力されるまで（ステップＳ１０９；Ｎｏ）、電子楽器８０から提供される演奏情報に基づいて、発音制御データ１２５を記憶部１２０に記録する（ステップＳ１０７）。このとき、ユーザに対する拍の提供は継続している。図５に示す記録ボタンＲＢが操作されることによって記録終了の指示が携帯装置１０に入力される（ステップＳ１０９；Ｎｏ）と、制御部１１０は、拍の提供を終了する（ステップＳ１１１）。続いて、制御部１１０は、以下に説明する画面を表示部１３０に表示することによって、選択ユーザインターフェース（選択ＵＩ）を提供する（ステップＳ１１３）。

【0027】

このように選択ユーザインターフェースが提供されることで、演奏による発音制御データ１２５を記録した後にすべき処理をユーザに提供することができる。一方、制御部１１０は、ユーザの指示によって発音制御データ１２５の記録が終了した時点で一旦終了してもよい。この場合には、制御部１１０は、ユーザの指示により選択ユーザインターフェースを提供し、処理の対象とすべき発音制御データ１２５を指定するためのユーザインターフェースをさらに提供してもよい。記録モードにおいて記録された発音制御データ１２５以外を処理の対象として指定できるようにしてもよい。

【0028】

図６は、選択ユーザインターフェースの例を示す図である。図６に示すように、選択ユーザインターフェース（以下、インターフェースＳＤという場合がある）は、記録された発音制御データ１２５に対して適用する変更方法を、互いに異なる複数の変更方法から選択するためのインターフェースを含む。複数の変更方法は、互いに異なる処理により発音制御データ１２５を変更するものであれば、どのような変更方法であってもよい。複数の変更方法は、互いに異なる方法でタイミング情報を補正することによって発音制御データ１２５を変更する少なくとも２つの変更方法を含んでもよい。この例では、複数の変更方法は、３つの変更方法を含む。３つの変更方法は、「ＡＩクオンタイズ」（第１変更方法）、「ＭＩＤＩクオンタイズ」（第２変更方法）および「ディレイオフセット」（第３変更方法）に対応する。インターフェースＳＤは、それぞれの変更方法に対応して、変更選択ボタンＡＢ、ＭＢ、ＤＢを含む。「ＡＩクオンタイズ」とは、発音制御データ１２５から拍位置の検出を行い、元の発音制御データ１２５から特定される拍位置と、検出された拍位置との関係によってタイミング情報を補正するように発音制御データ１２５を変更する処理である。拍位置を検出するときに、ＡＩ（Ａｒｔｉｆｉｃａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）技術を用いている。「ＭＩＤＩクオンタイズ」は、指定された分解能に応じてタイミング情報を補正するように発音制御データ１２５を変更する処理である。「ディレイオフセット」は、複数の音に対応するタイミング情報をオフセットさせるように発音制御データ１２５を変更する処理である。これらの具体的な処理方法については後述する。

【0029】

インターフェースＳＤは、発音制御データ１２５を保存するためのセーブボタンＢ１、発音制御データ１２５を破棄するためのデリートボタンＢ２、および発音制御データ１２５を再生するための再生ボタンＰＢを含む。再生ボタンＰＢが操作されると、発音制御データ１２５を読み出して、発音制御データ１２５によって示される音を再生する。この音は、携帯装置１０において生成されてもよいし、電子楽器８０において生成されるようにしてもよい。電子楽器８０で音が生成される場合には、携帯装置１０から電子楽器８０に発音指示信号が送信されればよい。再生位置は、再生マーカＰＭによって示される。ユーザが再生マーカＰＭの位置を変更することで、発音制御データ１２５における再生位置を変更することもできる。

【0030】

図７は、一実施形態における記録モードの処理（図３に続く部分）を示すフローチャートである。制御部１１０は、インターフェースＳＤに対してユーザから入力される指示を待機する（ステップＳ２０１；Ｎｏ，Ｓ２０３；Ｎｏ、Ｓ２０５；Ｎｏ，Ｓ２０７；Ｎｏ、Ｓ２０９；Ｎｏ）。このように制御部１１０が指示を待機している状態を、指示待機状態という。

【0031】

変更選択ボタンＡＢが操作されることによってＡＩクオンタイズの指示が入力される（ステップＳ２０１；Ｙｅｓ）と、制御部１１０は、ＡＩクオンタイズ処理を実行して（ステップＳ３００）、指示待機状態に戻る。ＡＩクオンタイズ処理については後述する。

【0032】

変更選択ボタンＭＢが操作されることによってＭＩＤＩクオンタイズの指示が入力される（ステップＳ２０３；Ｙｅｓ）と、制御部１１０は、ＭＩＤＩクオンタイズ処理を実行して（ステップＳ４００）、指示待機状態に戻る。ＭＩＤＩクオンタイズ処理については後述する。

【0033】

変更選択ボタンＤＢが操作されることによってディレイオフセットの指示が入力される（ステップＳ２０５；Ｙｅｓ）と、制御部１１０は、ディレイオフセット処理を実行して（ステップＳ５００）、指示待機状態に戻る。ディレイオフセット処理については後述する。

【0034】

セーブボタンＢ１が操作されることによってデータ保存の指示が入力される（ステップＳ２０７；Ｙｅｓ）と、制御部１１０は、発音制御データ１２５を保存して（ステップＳ２１１）、記録モードの処理を終了する。デリートボタンＢ２が操作されることによってデータ破棄の指示が入力される（ステップＳ２０９；Ｙｅｓ）と、制御部１１０は、発音制御データ１２５を破棄して（ステップＳ２１３）、記録モードの処理を終了する。

【0035】

［４.ＡＩクオンタイズ処理］
続いて、ＡＩクオンタイズ処理について説明する。

【0036】

図８は、一実施形態におけるＡＩクオンタイズ処理を示すフローチャートである。制御部１１０は、発音制御データ１２５をオーディオデータに変換する（ステップＳ３０１）。オーディオデータは、発音制御データ１２５に規定されるタイミング情報にしたがった発音を音波形信号で示したデータである。この音波形信号は、携帯装置１０において生成してもよいし、電子楽器８０に生成させて携帯装置１０で受信してもよい。制御部１１０は、オーディオデータに基づいて拍を検出する（ステップＳ３０３）。

【0037】

拍は、音波形信号の振幅の変化などに基づいて検出することができる。この例では、拍検出においては、ＡＩ技術を用いている。オーディオデータと拍の位置との関係を学習させた学習済モデルに、変換によって得られたオーディオデータを入力することによって、学習済モデルから拍の位置を取得することができる。拍を検出するための具体的な方法は、ＡＩ技術を用いる場合に限らず、公知の拍検出の方法を適用することができる。拍検出は、オーディオデータに対して実行する場合に限らず、発音制御データ１２５に対して実行してもよい。

【0038】

制御部１１０は、以下に説明する画面を表示部１３０に表示することによって、拍補正インターフェース（拍補正ＵＩ：第１ユーザインターフェース）を提供する（ステップＳ３０５）。制御部１１０は、拍補正インターフェースに対して、拍位置を補正する指示またはデータ補正処理の指示が入力されるまで待機する（ステップＳ３１１；Ｎｏ、Ｓ３２１；Ｎｏ）。拍位置を補正する指示が入力される（ステップＳ３１１；Ｙｅｓ）と、制御部１１０は、拍位置を補正し（ステップＳ３１３）、再び待機する（ステップＳ３１１；Ｎｏ、Ｓ３２１；Ｎｏ）。データ補正処理が指示される（ステップＳ３２１；Ｙｅｓ）と、制御部１１０は、データ補正処理を実行し（ステップＳ３３０）、ＡＩクオンタイズ処理を終了する。拍位置を補正する指示が入力されずに、データ補正処理が指示される場合もある。この場合には、検出された拍位置をそのまま用いてデータ補正処理が実行される。

【0039】

図９は、拍補正ユーザインターフェースの例（補正指示前）を示す図である。図１０は、拍補正ユーザインターフェースの例（補正指示前）を示す図である。拍補正インターフェース（以下、インターフェースＡＤという場合がある）は、平均テンポを設定するための領域ＴＳ、拍位置の編集方法を設定するためのラインボタンＬＢおよびタップボタンＴＢ、再生ボタンＰＢ、再検出ボタンＱＢ、およびセーブボタンＢ３を含む。平均テンポは、発音制御データ１２５を記録したときのテンポ（記録テンポ）が初期値として表示される。通常は初期値から変更される必要は無いが、変更されてもよい。図９および図１０において説明するインターフェースＡＤは、ラインボタンＬＢが操作された場合の編集方法として示されている。

【0040】

インターフェースＡＤは、さらに、発音制御データ１２５に規定された発音を曲全体の範囲で示す全体領域ＡＡ、および選択窓ＳＷで指定された範囲を拡大した示す拡大領域ＡＷを含む。これらの領域において、縦軸は音高を示し、横軸方向は時間を示し、各発音が音マークＮＭで示されている。選択窓ＳＷは、全体領域ＡＡにおける位置を変更することができ、横軸方向の長さを変更することで拡大領域ＡＷに表示されるときの時間軸方向の拡大率を変化させることもできる。

【0041】

発音制御データ１２５から検出された拍の位置は、拡大領域ＡＷにおいて拍位置線ＢＬにより示されている。拍位置線ＢＬの下方には、円形の拍マーカＢＭが表示されている。拍マーカＢＭは、ユーザが拍位置を補正するときに用いられる。拍マーカＢＭのうち、変更対象としてユーザに指定されている拍マーカＢＭｓは、他の拍マーカＢＭと区別できる形態で表示される。このとき、図９に示すように、拍マーカＢＭｓに対応する拍位置線ＢＬについても表示形態が変化してもよい。

【0042】

図９においてユーザに指定された拍マーカＢＭｓを、図１０に示すように左側にずらすと、拍位置の補正指示が入力されたこと（図８、ステップＳ３１１；Ｙｅｓ）に相当する。これによって、制御部１１０は、拍マーカＢＭｓに対応する拍の位置を、移動後の拍マーカＢＭｓの位置に補正する（図８、ステップＳ３１３）。検出された拍位置とユーザが想定する拍位置とが異なる場合に、このような補正が実施される。

【0043】

再生ボタンＰＢが操作されると、制御部１１０は、拡大領域ＡＷに表示された範囲の発音制御データ１２５に応じた音を再生する。このとき、検出された拍の位置において、拍を示す音（メトロノーム音）が発生するようにしてもよい。このように、検出された拍の位置または補正された拍の位置と発音タイミングとの関係を、音によってユーザに認識させてもよい。

【0044】

再検出ボタンＱＢが操作されると、制御部１１０は、ステップＳ３０３に戻って拍の検出を実行する。このとき、ユーザによって位置が補正された拍が存在する場合には、制御部１１０は、補正された拍の位置を固定するようにして、拍の検出処理を実行してもよい。

【0045】

図１１は、発音制御データの例を説明するための図である。図１１は、「記録時」、「拍検出時」および「拍補正時」における発音制御データ１２５のタイミング情報と拍の位置との関係を示す。「記録時」は、記録モードにおいて記録されたときの発音制御データ１２５を示す。「拍検出時」は、ＡＩクオンタイズ処理において拍が検出されたときの発音制御データ１２５を示す。「拍補正時」は、検出された拍位置がユーザによって補正されたときの発音制御データ１２５を示す。横軸は時間ｔを示している。音ＮＴは、タイミング情報に対応する発音の位置を示している。記録時から拍補正時までの期間には発音制御データ１２５が変更されていないため、音ＮＴの位置は変わらない。

【0046】

拍位置ＳＢＴ１、ＳＢＴ２、・・・は、記録時の拍の位置を示している。したがって、いずれの拍の長さも同じである。拍位置ＤＢＴ１、ＤＢＴ２、・・・は、拍検出時の拍の位置を示している。検出された拍の位置は等間隔になるとは限らない。したがって、図１１の例においては、記録時と拍検出時とでは、位置（タイミング）がずれている拍が存在する。拍補正時は、インターフェースＡＤにおいて拍マーカＢＭｓを移動させることによって拍の位置を補正した後の拍を示している。図１１では、拍位置ＤＢＴ４、ＤＢＴ６が補正された例を示している。拍位置ＤＢＴ４の補正は、図１０で示した例に対応する。拍位置ＤＢＴ６の補正は、装飾音ＮＴｓを拍位置に合わせるための補正である。このように補正する目的はデータ再生処理と関連するため後述する。

【0047】

インターフェースＡＤにおけるセーブボタンＢ３が操作されることは、データ補正処理の指示が入力されることに対応する（ステップＳ３２１；Ｙｅｓ）。したがって、セーブボタンＢ３が操作されると、制御部１１０は、データ補正処理を実行する（ステップＳ３３０）。このとき、携帯装置１０は、発音制御データ１２５またはオーディオデータと、補正後の拍位置を示すデータとを対応付けて、データ管理サーバ９０に送信してもよい。データ管理サーバ９０は、携帯装置１０から受信したデータを記憶部９２０におけるデータベースに登録する。データ管理サーバ９０は、データベースに登録したデータを利用した処理を実行することができる。例えば、このようなユーザにより補正されたデータを利用して、拍検出技術の精度向上、または拍検出におけるＡＩ技術の精度向上（登録したデータを教師データとした学習済モデルの更新など）に用いることもできる。

【0048】

図１２は、一実施形態におけるデータ補正処理を示すフローチャートである。制御部１１０は、発音制御データ１２５を上述した拍位置ＤＢＴ１、ＤＢＴ２、・・・の位置で分割することによって、検出された拍（補正されていれば補正後の拍）毎のデータ区間に分割する（ステップＳ３３１）。制御部１１０は、分割された複数のデータ区間を、それぞれ上述した平均テンポに相当する区間長（平均テンポに相当する１拍の長さ）に相当する長さに伸縮させて、その伸縮量に対応するように、各データ区間に含まれる各発音の位置、すなわちタイミング情報を補正する（ステップＳ３３３）。制御部１１０は、タイミング情報の補正量に応じた補正情報を各データ区間に追加し（ステップＳ３３５）、タイミング情報が補正された補正情報が追加された複数のデータ区間を結合する（ステップＳ３３７）。データ補正処理について、図１３および図１４を用いてより詳細に説明する。

【0049】

図１３は、タイミング情報を補正するときの例を説明するための図である。図１３は、複数のデータ区間のうち拍位置ＤＢＴ４と拍位置ＤＢＴ５との間のデータ区間におけるタイミング情報を補正する例を示している。「分割後」は、補正前のデータ区間における発音制御データ１２５を示す。「補正後」は、タイミング情報を補正した後の発音制御データ１２５を示す。この例では、補正前のデータ区間長（拍位置ＤＢＴ４と拍位置ＤＢＴ５との間の長さ）は、テンポ「１１０」に相当している。

【0050】

この例では平均テンポが「１２０」に設定されている。そのため、データ区間長をテンポ「１２０」に相当する長さに変更する。データ区間長が「１１０／１２０」倍になっているため、このデータ区間に含まれる発音のタイミング情報は拍の先頭（拍位置ＤＢＴ４）を基準として「１１０／１２０」倍の位置に補正される。このように補正量は「１１０／１２０」である。補正情報は、拍位置ＤＢＴ４に対応する位置に補正量に応じた値として元のデータ区間長に対応するテンポ値「１１０」として追加される。「１１０／１２０」として平均テンポに対する相対値として追加されてもよい。ＭＩＤＩ形式のデータである場合には、テンポチェンジの情報として追加される。このように補正されたデータ区間の発音制御データ１２５をテンポ「１１０」で再生すると、発音制御データ１２５が記録されたときと同じタイミングの演奏音が再生できる。

【0051】

図１４は、変更前後の発音制御データを比較して説明するための図である。図１４は、「記録時」および「結合後」における発音制御データ１２５のタイミング情報と拍の位置との関係を示す。「記録時」は、記録モードにおいて記録されたとき、すなわちＡＩクオンタイズ処理によりタイミング情報が変更される前の発音制御データ１２５を示す。「結合後」は、ＡＩクオンタイズ処理によりタイミング情報が補正されて補正情報が追加されたデータ区間を結合した後、すなわちタイミング情報が変更された後の発音制御データ１２５を示す。図１４に示すように、ＡＩクオンタイズ処理においては、検出された拍（またはさらに補正された拍）を所定のテンポ（この例では平均テンポ）に揃え、元の拍の長さを特定できるように補正量に応じた補正情報（この例では元の拍の長さに対応するテンポ値）を追加することによって、発音制御データ１２５を変更する。

【0052】

このようにＡＩクオンタイズ処理によりタイミング情報が変更されると、発音制御データ１２５は、一定のテンポとして記述したデータ形式をとることができるとともに、補正情報をテンポチェンジとして反映して再生することにより、発音制御データ１２５を記録したときの演奏音を再現することもできる。自然な演奏を再現したい曲には特に有効である。以上が、ＡＩクオンタイズ処理についての説明である。

【0053】

［５.ＭＩＤＩクオンタイズ処理］
続いて、ＭＩＤＩクオンタイズ処理について説明する。

【0054】

図１５は、一実施形態におけるＭＩＤＩクオンタイズ処理を示すフローチャートである。制御部１１０は、以下に説明する画面を表示部１３０に表示することによって、クオンタイズ設定ユーザインターフェース（クオンタイズ処理設定ＵＩ）を提供し（ステップＳ４０１）、クオンタイズ処理の指示が入力されるまで待機する（ステップＳ４０３；Ｎｏ）。クオンタイズ処理の指示が入力されると（ステップＳ４０３；Ｙｅｓ）、制御部１１０は、設定にしたがってクオンタイズ処理を実行し（ステップＳ４０５）、ＭＩＤＩクオンタイズ処理を終了する。

【0055】

図１６は、クオンタイズ設定ユーザインターフェースの例を示す図である。クオンタイズ設定ユーザインターフェース（以下、インターフェースＭＤという場合がある）は、クオンタイズの分解能を設定するための領域ＱＳ、およびクオンタイズ処理の指示を入力するための実行ボタンＢ４を含む。この例ではインターフェースＭＤは、設定される分解能を選択するためのウインドウＲＷを含む。クオンタイズの分解能が「１／８」であれば、８分音符を単位としてタイミングが揃うようにタイミング情報が補正される。この処理は、一般的なクオンタイズ処理と同様である。インターフェースＭＤは、クオンタイズの対象外とする音の条件を設定するための領域を含んでもよい。クオンタイズの対象外とされる音は、例えば、最も近いクオンタイズの対象音と同じ量で移動するようにしてもよい。クオンタイズ処理の対象外とされる音は、例えば、分解能の半分以下の長さの音であってもよいし、所定の値よりもベロシティ（音量）が小さい音であってもよい。これとは逆に、インターフェースＭＤは、クオンタイズの対象音を指定できる領域を含んでもよい。

【0056】

ＭＩＤＩクオンタイズ処理によれば、発音制御データ１２５を記録するときの演奏においてリズムが揺れる状況が発生した場合に、発音制御データ１２５に含まれる発音のリズムの揺れを取り除いて拍の位置に揃えることができる。ダンスミュージックなどリズムが重要である曲には特に有効である。以上がＭＩＤＩクオンタイズについての説明である。

【0057】

［６.ディレイオフセット処理］
続いて、ディレイオフセット処理について説明する。

【0058】

図１７は、一実施形態におけるディレイオフセット処理を示すフローチャートである。制御部１１０は、以下に説明する画面を表示部１３０に表示することによって、オフセット設定ユーザインターフェース（オフセット設定ＵＩ：第２ユーザインターフェース）を提供し（ステップＳ５０１）、オフセット処理の指示が入力されるまで待機する（ステップＳ５０３；Ｎｏ）。オフセット処理の指示が入力されると（ステップＳ５０３；Ｙｅｓ）、制御部１１０は、設定にしたがってオフセット処理を実行し（ステップＳ５０５）、ディレイオフセット処理を終了する。

【0059】

図１８は、オフセット設定ユーザインターフェースの例を示す図である。オフセット設定ユーザインターフェース（以下、インターフェースＤＤという場合がある）は、オフセット量を設定するための領域ＯＳ、およびオフセット処理の指示を入力するための実行ボタンＢ５を含む。この例ではインターフェースＤＤは、設定されるオフセット量を選択するためのウインドウＲＷを含む。オフセット量が「３０」であれば、全体的に３０ティック遅らせるようにタイミング情報を補正することによって発音制御データ１２５を変更する。

【0060】

インターフェースＤＤは、処理対象の音を指定するための領域を有してもよい。処理対象音が指定されることで、対象音と対象音の後に続く複数の音に対して、タイミング情報を補正してもよい。処理対象の音が指定されない場合は、発音制御データ１２５の最初の音が処理対象の音として指定されてもよい。処理対象の音を指定して補正を行う場合について、２つの例を図１９および図２０を用いて説明する。

【0061】

図１９および図２０は、ディレイオフセット前後の発音制御データを比較して説明するための図である。図１９および図２０は、いずれも、「拍検出時」および「オフセット後」における発音制御データ１２５のタイミング情報と拍の位置との関係を示す。「拍検出時」は、ＡＩクオンタイズ処理において拍が検出されたときの発音制御データ１２５を示す。「オフセット後」は、装飾音ＮＴｓが処理対象音として指定されてオフセット処理が実行された後の発音制御データ１２５を示す。オフセット処理により装飾音を拍位置に合わせることを想定しているため、装飾音ＮＴｓを拍位置ＤＢＴ６に移動させるようにオフセット量が指定されることを想定している。

【0062】

図１９に示す第１の例では、オフセット量にしたがって装飾音ＮＴｓが拍位置ＤＢＴ６に移動するようにタイミング情報が補正される。装飾音ＮＴｓに続く複数の音のいずれもが同じオフセット量によりタイミング情報が補正される。このとき補正情報の位置がさらに変更されてもよい。補正情報の位置が変更されることは、補正情報によって補正されるデータ区間が変更されることに対応する。補正情報の位置が変更される量は、オフセット量に対応するようにしてもよい。

【0063】

図２０に示す第２の例では、装飾音ＮＴｓについては同様に拍位置ＤＢＴ６に移動するようにタイミング情報が補正される。一方、装飾音ＮＴｓに続く複数の音については、装飾音ＮＴｓから離れるほど少ないオフセット量で移動するようにタイミング情報が補正される。このとき、装飾音ＮＴｓから所定の拍数内（例えば４拍内）の音に対してのみタイミング情報が補正されてもよい。

【0064】

［７.データ再生処理］
続いて、上述のようにして生成された発音制御データ１２５（例えば、図１４に示す「結合後」の発音制御データ１２５）を読み出して、音源部８３０において音波形信号を再生する処理について説明する。携帯装置１０は、音源部８３０において音波形信号を再生させるために、発音制御データ１２５に基づく発音指示信号を電子楽器８０に出力する。携帯装置１０は、ユーザによる発音制御データ１２５の再生処理を開始する指示を受け取ると、データ再生処理を開始する。データ再生処理において、発音制御データ１２５を再生するモードは、オートモードとコントロールモードを含む。

【0065】

オートモードは、所定のテンポで発音制御データ１２５を読み出し、各拍に対応して設定された補正情報を利用してそのテンポを補正することによって実質的に拍の位置を補正したタイミングで音波形信号の再生を実現し、データを記録したときの演奏音を再現するためのモードである。発音制御データ１２５を読み出すときに補正情報を利用しない場合、図１４に示すように、データを記録したときの演奏音とは異なる演奏音が再現されることになるが、補正情報を利用して読み出す速度を変更することでデータを記録したときの演奏音を再現することができる。ＡＩクオンタイズ処理を実行していない発音制御データ１２５を用いる場合には、補正情報が含まれていないため、予め決められたテンポで発音制御データ１２５が読み出されることになる。

【0066】

コントロールモードは、拍を進行させる進行指示信号に応じて発音制御データ１２５を読み出して、その信号に応じた速さで演奏された場合の音を再現するためのモードである。進行指示信号により拍の進行が指示されることによって、発音制御データ１２５の読み出しにおいて、各拍が開始されるタイミングが制御され、拍間のテンポが過去に指示された拍間に基づいて制御される。進行指示信号は、ユーザの動作にしたがって生成され、例えば、携帯装置１０を指揮棒のようにして振る動作において振る方向を変更するタイミングに応じて生成される。制御部１１０は、発音制御データ１２５において一定間隔で配置される拍は、ＭＩＤＩ形式であればティック値からその位置を特定できる。発音制御データ１２５において補正情報が追加されたデータ位置が拍の位置として特定されてもよい。

【0067】

上述したように装飾音を拍の位置に合わせる補正をすることが望ましい場合がある。装飾音は拍の位置の少し前に位置することが多い。このような場合、拍の位置に存在する被装飾音と、その前に存在する装飾音とが連続して再生されることが望ましい。一方、コントロールモードで動作するときには、拍の位置を区切りとして発音制御データ１２５を読み出すため、装飾音が早いタイミングで再生されてしまい、装飾音から被装飾音までが大きく離れて再生されてしまうような状況が生じる。このような場合を想定して、拍の位置に装飾音が位置するようにタイミング情報が補正されることで、装飾音と被装飾音とが離れないようにして一つのまとまりとして再生することができる。

【0068】

図２１は、一実施形態におけるデータ再生処理を示すフローチャートである。制御部１１０は、以下に説明する画面を表示部１３０に表示することによって、再生ユーザインターフェース（再生ＵＩ）を提供し（ステップＳ８０１）、データ再生の開始指示が入力されるまで待機する（ステップＳ８０３；Ｎｏ）。

【0069】

データ再生の開始指示が入力されると（ステップＳ８０３；Ｙｅｓ）、制御部１１０は、データ再生の停止指示が入力されるまで（ステップＳ８２１；Ｎｏ）、発音制御データ１２５を再生することによって発音制御処理を実行する。制御部１１０は、再生モードとしてオートモードが選択されているとき（ステップＳ８１１；Ｙｅｓ）にはオートモードでの発音制御処理を実行する（ステップＳ８１３）。一方、オートモードが選択されていないとき、すなわち再生モードとしてコントロールモードが選択されているとき（ステップＳ８１３；Ｎｏ）にはコントロールモードでの発音制御処理を実行する（ステップＳ８１５）。データ再生の停止指示が入力されると（ステップＳ８２１；Ｙｅｓ）、制御部１１０は、データ再生処理を終了する。

【0070】

図２２は、再生ユーザインターフェースの例を示す図である。再生ユーザインターフェース（以下、インターフェースＰＤという場合がある）は、オートモードとコントロールモードとを切り替える切替ボタンＰＭＢを含む。切替ボタンＰＭＢは、オートモードで動作しているかコントロールモードで動作しているかを示す画像を含む。切替ボタンＰＭＢを操作する度にモードが切り替わるように選択されてもよいし、切替ボタンＰＭＢを操作している間（切替ボタンＰＭＢに触れている間）だけいずれかのモード（例えばコントロールモード）が選択されるようにしてもよい。

【0071】

オートモードで動作しているときは、曲の進行を停止させる停止ボタンＢ６が表示される。コントロールモードであるときには、ユーザが携帯装置１０を振る動作を止めれば曲の進行が止まるため、図２２に示すように停止ボタンＢ６が表示されなくてもよい。停止ボタンＢ６が操作されることは、データ再生の停止指示が入力されること（ステップＳ８２１；Ｙｅｓ）に相当するが、ステップＳ８０３に戻ることで、データ再生の一時停止の指示として認識されてもよい。

【0072】

このように、一実施形態におけるデータ変更方法によれば、演奏に応じて記録された発音制御データ１２５を、オートモードとコントロールモードといった互いに異なる複数の再生方法で用いることができるデータに変更することができる。また、曲によって適切な変更方法を選択して、発音制御データ１２５を変更することもできる。

【0073】

［８．変形例］
本開示は上述した実施形態に限定されるものではなく、他の様々な変形例が含まれる。例えば、上述した実施形態は本開示を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。以下、一部の変形例について説明する。

【0074】

（１）ＡＩクオンタイズ処理において、補正情報は、１拍毎に対応して追加されていたが、２拍以上毎に対応して追加されてもよいし、各音に対して追加されてもよい。

【0075】

（２）楽譜の画像を解析して、小節線、音符および演奏記号等を抽出し、抽出した情報に基づいて発音制御データ１２５のタイミング情報を補正する処理がインターフェースＳＤにおいて選択できるようになってもよい。

【0076】

（３）携帯装置１０は、データ再生方法を実行するときに、コントロールモードにおいては、携帯装置１０を振る動作により進行指示信号が生成されていたが、インターフェース１９０を介して携帯装置１０と接続されたセンサ端末を振る動作により進行指示信号が生成されるようにしてもよい。センサ端末は、例えば、センサ部１５０に相当する構成として、加速度センサ、ジャイロセンサ等を含み、センサ端末の動きを測定するための機能、および携帯装置１０のインターフェース１９０に接続するための機能を有していればよい。センサ端末を用いる場合には、携帯装置１０は、携帯できる大きさの装置ではなく、据え置き型のデスクトップパソコンなどによって実現されてもよい。携帯装置１０において実現される上述の機能の一部または全部は、ネットワークＮＷを介して接続される１以上のサーバ等の情報処理装置によって実現されてもよい。例えば、記録モードにおいて発音制御データ１２５が記録されると、携帯装置１０がサーバに発音制御データ１２５を送信する。サーバは、発音制御データ１２５を変更するための処理を実行し、変更された発音制御データ１２５を携帯装置１０に送信するようにしてもよい。

【0077】

［９．解決手段の概要］
上述した本開示の一実施形態によれば、以下に示す構成として説明することが可能である。

【0078】

本開示のデータ変更方法は、発音のタイミング情報を定義する発音制御データに対して適用する変更方法を、第１変更方法および第２変更方法を含む複数の変更方法から選択するための選択ユーザインターフェースを提供し、前記第１変更方法を適用することが選択された場合に、前記タイミング情報を補正し、所定のデータ区間に対して当該データ区間における前記タイミング情報の補正量に応じた補正情報を追加することによって、前記発音制御データを変更し、前記第２変更方法を適用することが選択された場合に、所定のテンポに応じた拍の位置に基づいて前記タイミング情報を補正することによって、前記発音制御データを変更すること、を含む。

【0079】

本開示のデータ変更方法は、テンポを設定して演奏記録を指示するための記録ユーザインターフェースを提供してもよく、前記演奏記録の開始が指示されると、設定された前記テンポで拍情報を提供し、前記拍情報を提供している間に入力される演奏情報に基づいて前記発音制御データを記録してもよく、前記演奏記録の停止が指示されると、記録した前記発音制御データに対して適用すべき変更方法を選択するための前記選択ユーザインターフェースを提供してもよい。

【0080】

本開示のデータ変更方法は、前記複数の変更方法は、第３変更方法をさらに含んでもよく、前記第３変更方法を適用することが選択された場合に、指定された所定の発音のタイミング情報を変更し、当該所定の発音に続く複数の発音のタイミング情報を変更することによって、前記発音制御データを変更してもよい。

【0081】

本開示のデータ変更方法は、所定のテンポで記録された発音のタイミング情報を定義する発音制御データに基づいて、複数の拍の位置を検出し、複数の前記拍の位置と前記テンポとの関係に基づいて前記タイミング情報を補正し、所定のデータ区間に対して当該データ区間における前記タイミング情報の補正量に応じた補正情報を追加することによって、前記発音制御データを変更すること、を含む。

【0082】

本開示のデータ変更方法は、所定のテンポで拍情報を提供し、前記拍情報を提供している間に入力される演奏情報に基づいて、前記発音制御データを記録することをさらに含んでもよく、前記拍情報の提供タイミングに対応して前記補正情報が追加されてもよい。

【0083】

前記複数の拍の位置を検出することは、前記発音制御データをオーディオデータに変換し、前記オーディオデータに基づいて複数の拍の位置を検出することを含んでもよい。

【0084】

本開示のデータ変更方法は、検出された前記拍の位置を補正するための第１ユーザインターフェースを提供することをさらに含んでもよく、前記発音制御データを変更することは、前記第１ユーザインターフェースを介して補正された後の複数の前記拍の位置と設定されたテンポとの関係に基づいて、前記タイミング情報を補正することを含んでもよい。

【0085】

本開示のデータ変更方法は、記録された前記発音制御データまたは前記オーディオデータと、前記第１ユーザインターフェースを介して補正された後の前記拍の位置と、を対応付けてデータベースに登録してもよい。

【0086】

本開示のデータ変更方法は、前記発音制御データにおける所定の発音のタイミング情報を補正するための第２ユーザインターフェースを提供してもよく、前記第２ユーザインターフェースを介して指示された前記所定の発音のタイミング情報を補正し、当該所定の発音に続く複数の発音のタイミング情報をさらに補正することによって、前記発音制御データをさらに変更してもよい。

【0087】

本開示のデータ変更方法は、前記第２ユーザインターフェースを介して指示された前記所定の発音のタイミング情報を補正してもよく、当該所定の発音に続く複数の発音のタイミング情報をさらに補正するときには、前記補正情報の対象となる前記データ区間をさらに変更することによって、前記発音制御データをさらに変更してもよい。

【0088】

本開示のデータ再生方法は、上記記載のデータ変更方法によって変更された前記発音制御データに基づいて音波形信号を音源部により再生するためのデータ再生方法であって、前記音源部に音波形信号を再生させるための発音指示信号の生成方法を、第１再生方法および第２再生方法を含む複数の再生方法から選択するための第３ユーザインターフェースを提供し、前記第１再生方法が選択された場合に、所定のテンポに応じて前記発音制御データを読み出し、前記補正情報を利用して前記発音指示信号を生成し、前記第２再生方法が選択された場合に、拍を進行させる進行指示信号に応じた前記データ区間の前記発音制御データを読み出して前記発音指示信号を生成すること、を含む。

【0089】

本開示のデータ変更方法は、演奏記録を指示するための記録ユーザインターフェースを提供し、前記演奏記録の開始が指示されると、入力される演奏情報に基づいて、発音のタイミング情報を定義する発音制御データを記録し、前記演奏記録の停止が指示されると、記録した前記発音制御データに対して適用すべき変更方法を、第１変更方法および第２変更方法を含む複数の変更方法から選択するための選択ユーザインターフェースを提供し、選択された変更方法に基づいて前記発音制御データを変更し、変更された前記発音制御データに基づいて演奏音を再生すること、を含む。

【0090】

本開示によれば、上記データ変更方法またはデータ再生方法をコンピュータに実行させるためのプログラムとして用いることもでき、データ変更方法を実行するデータ変更装置、データ再生方法を実行するデータ再生装置として用いることもできる。すなわち、携帯装置１０の少なくとも一部をデータ変更装置またはデータ再生装置として機能させることができる。

【符号の説明】

【0091】

１０：携帯装置、１１０：制御部、１２０：記憶部、１２１：プログラム、１２３：演奏記録データ、１２５：発音制御データ、１３０：表示部、１４０：操作部、１５０：センサ部、１７０：スピーカ、１８０：通信部、１９０：インターフェース、８０：電子楽器、８１０：演奏操作子、８３０：音源部、８７０：スピーカ、８９０：インターフェース、９０：データ管理サーバ、９１０：制御部、９２０：記憶部、９８０：通信部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】