特開 2024-46351 プログラム、情報処理装置、情報処理方法、および、演奏データ処理システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024046351

(43)【公開日】2024-04-03

(54)【発明の名称】プログラム、情報処理装置、情報処理方法、および、演奏データ処理システム

(51)【国際特許分類】

   G10G 1/00 20060101AFI20240327BHJP

【ＦＩ】

G10G1/00

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2022151677

(22)【出願日】2022-09-22

(71)【出願人】

【識別番号】000001443

【氏名又は名称】カシオ計算機株式会社

(74)【代理人】

【識別番号】110003708

【氏名又は名称】弁理士法人鈴榮特許綜合事務所

(74)【代理人】

【識別番号】100108855

【弁理士】

【氏名又は名称】蔵田 昌俊

(74)【代理人】

【識別番号】100179062

【弁理士】

【氏名又は名称】井上 正

(74)【代理人】

【識別番号】100199565

【弁理士】

【氏名又は名称】飯野 茂

(74)【代理人】

【識別番号】100209048

【弁理士】

【氏名又は名称】森川 元嗣

(74)【代理人】

【識別番号】100212705

【弁理士】

【氏名又は名称】矢頭 尚之

(74)【代理人】

【識別番号】100219542

【弁理士】

【氏名又は名称】大宅 郁治

(74)【代理人】

【識別番号】100162570

【弁理士】

【氏名又は名称】金子 早苗

(72)【発明者】

【氏名】加福 滋

(72)【発明者】

【氏名】奥田 広子

(72)【発明者】

【氏名】田中 飛雄太

【テーマコード（参考）】

5D182

【Ｆターム（参考）】

5D182AA24

5D182AB03

5D182AD04

(57)【要約】

【課題】演奏にマッチする画像を高い精度で提示できるようにすること。
【解決手段】本発明のプログラムは、コンピュータに、演奏に伴って発生する演奏データに基づいて特定された、演奏に対応する楽曲に適合する画像を表示装置に表示させ、連続して演奏される演奏に伴って発生する演奏データの時系列に基づいて、演奏と特定された楽曲との合致度を繰り返し導出させ、合致度が基準を満たさない場合に、演奏に対応する楽曲を再検索させる。
【選択図】図５

【特許請求の範囲】

【請求項1】

コンピュータに、
演奏に伴って発生する演奏データに基づいて特定された、前記演奏に対応する楽曲に適合する画像を表示装置に表示させる画像表示処理と、
連続して演奏される演奏に伴って発生する前記演奏データの時系列に基づいて、前記演奏と前記特定された楽曲との合致度を繰り返し導出する導出処理と、
前記合致度が基準を満たさない場合に、前記演奏に対応する楽曲を再検索させる処理と、を実行させる命令を含む、プログラム。

【請求項2】

前記演奏に伴って発生する前記演奏データに基づいて、前記演奏に対応する楽曲を検索によって特定する楽曲検索処理をさらに含み、
前記楽曲検索処理は、複数の楽曲ごとに、関連する情報を対応付けて登録した楽曲検索用データベースを検索して前記楽曲を特定する、請求項１に記載のプログラム。

【請求項3】

前記画像表示処理は、複数の画像データを登録した画像データベースから、前記表示に係わる画像の画像データを取得する、請求項１に記載のプログラム。

【請求項4】

前記画像表示処理は、画像の識別子を取得し、前記識別子にしたがったタイミングに対応する画像データを、前記識別子にしたがったタイミングの前に、前記画像データベースから取得する、請求項３に記載のプログラム。

【請求項5】

前記画像表示処理は、前記識別子にしたがったタイミングで、前記タイミングに対応する画像データの画像を前記表示装置に表示させる、請求項４記載のプログラム。

【請求項6】

前記導出処理は、複数の楽曲ごとに前記楽曲のメロディ情報を対応付けて登録したアライメントデータベースから取得した前記メロディ情報と、前記演奏データとの合致度を導出する、請求項１に記載のプログラム。

【請求項7】

前記画像表示処理は、前記合致度が基準を満たさない状態、または、前記楽曲が特定されていない状態において、予め用意された汎用的画像を前記表示装置に表示させる、請求項１に記載のプログラム。

【請求項8】

演奏データを発生させる電子機器に接続可能なインタフェースと、
プロセッサとを具備し、
前記プロセッサが、
演奏に伴って発生する前記演奏データに基づいて、前記演奏に対応する楽曲を検索して特定し、
前記特定された楽曲に対応する画像を選択して表示装置に表示し、
前記演奏データの時系列に基づいて、前記演奏と前記特定された楽曲との合致度を繰り返し計算し、
前記合致度が既定の基準を満たさない場合に、前記演奏に対応する楽曲を再検索する、情報処理装置。

【請求項9】

情報処理装置の情報処理方法において、
演奏に伴って発生する演奏データに基づいて特定された、前記演奏に対応する楽曲に適合する画像を表示装置に表示させ、
連続して演奏される演奏に伴って発生する前記演奏データの時系列に基づいて、前記演奏と前記特定された楽曲との合致度を繰り返し導出し、
前記合致度が基準を満たさない場合に、前記演奏に対応する楽曲を再検索させる、情報処理方法。

【請求項10】

情報処理装置と、表示装置とを具備する演奏データ処理システムであって、
前記情報処理装置は、
演奏データを発生させる機器に接続可能なインタフェースと、
演奏に伴って発生する前記演奏データに基づいて特定された、前記演奏に対応する楽曲に適合する画像を前記表示装置に表示させる画像表示処理部と、
連続して演奏される演奏に伴って発生する前記演奏データの時系列に基づいて、前記演奏と前記特定された楽曲との合致度を繰り返し導出する導出処理部とを備え、
前記導出処理部は、前記合致度が基準を満たさない場合に、前記演奏に対応する楽曲を再検索させる、演奏データ処理システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、プログラム、情報処理装置、情報処理方法、および、演奏データ処理システムに関する。

【背景技術】

【0002】

ユーザが楽器で弾き始めたり歌い始めた楽曲を認識し、認識された楽曲に関連した画像（動画または静止画）を自動的に表示する機能を有する画像表示装置が、提案されている（特許文献１を参照）。

【0003】

せっかく楽器を買ったのに、練習が大変で途中であきらめてしまう人は多い。音楽を楽しむことへの入り口に立ったばかりの人に練習の意欲を高めてもらうためにも、音楽演奏を可視化して、視覚的な効果を利用する技術に注目が集まっている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特許第４５３４９２６号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特に、歌詞のある楽曲にマッチする画像を表示する技術では、適切な画像を選択して提示することは難しい。例えば、曲の演奏の進行状態に応じて演奏に適合する画像を適宜変えることが好ましい場合がある。

【0006】

そこで本発明の目的は、演奏にマッチする画像を高い精度で提示できるプログラム、情報処理装置、情報処理方法、および、演奏データ処理システムを提供することにある。

【課題を解決するための手段】

【0007】

上記目的を達成するために、本発明の一実施形態であるプログラムは、コンピュータに、演奏に伴って発生する演奏データに基づいて特定された、演奏に対応する楽曲に適合する画像を表示装置に表示させる画像表示処理と、連続して演奏される演奏に伴って発生する演奏データの時系列に基づいて、演奏と特定された楽曲との合致度を繰り返し導出する導出処理と、合致度が基準を満たさない場合に、演奏に対応する楽曲を再検索させる処理と、を実行させる命令を含む。

【発明の効果】

【0008】

本発明によれば、演奏にマッチする画像を高い精度で提示できるようになる。

【図面の簡単な説明】

【0009】

【図1】図１は、実施形態に係わる演奏データ処理システムの一例を示す模式図である。

【図2】図２は、図１に示される演奏データ処理システムのシステム構成例を示す図である。

【図3】図３は、実施形態に係わる演奏データ処理システムを構成する要素の一例を示すブロック図である。

【図4】図４は、コンピュータ２００の一例を示す機能ブロック図である。

【図5】図５は、実施形態に係わる演奏データ処理システムにおける処理手順の一例を示すシーケンス図である。

【図6】図６は、楽曲検索処理部１１ａの処理手順の一例を示すフローチャートである。

【図7】図７は、第１の実施形態での画像表示処理部１１ｃの処理手順の一例を示すフローチャートである。

【図8】図８は、アライメント処理部１１ｂの処理手順の一例を示すフローチャートである。

【図9】図９は、ＤＰマッチング法による合致度の計算（導出）について説明するための図である。

【図10】図１０は、第２の実施形態での画像表示処理部１１ｃの処理手順の一例を示すフローチャートである。

【図11】図１１は、一つの譜例を示す図である。

【図12】図１２は、楽曲データ１３ａの一例を示す図である。

【図13】図１３は、第２の実施形態での画像表示処理部１１ｃの処理手順の他の例を示すフローチャートである。

【発明を実施するための形態】

【0010】

以下、図面を参照して、本発明の実施の形態について説明する。
図１は、実施形態に係わる演奏データ処理システムの一例を示す模式図である。図１に示される演奏データ処理システムは、入力装置と、アプリケーションと、出力装置とを含む。入力装置は、例えばデジタルキーボード（電子機器）１００であり、ユーザの演奏から演奏データ（例えばＭＩＤＩ（Musical Instrument Digital Interface）データあるいはＭＩＤＩメッセージ列）を生成してアプリケーションに渡す。アプリケーションは、例えば、専用サーバやノートＰＣやタブレット等のコンピュータ（情報処理装置）２００にインストールされ、演奏データを解析する。解析により取得された画像データは出力装置に渡され、コンピュータ２００の表示指示に従って、出力装置としてモニタやプロジェクター等の画像表示装置３００などにより画像として表示される。このように、ユーザ（演奏者）の演奏に基づく演奏データはアプリケーションにより処理されて、視覚的な画像として出力される。

【0011】

図２は、図１に示される演奏データ処理システムのシステム構成例を示す図である。デジタルキーボード１００は、ＭＩＤＩインタフェース４００を介してコンピュータ２００に接続される。コンピュータ２００は、映像インタフェース５００を介してプロジェクター３００に接続される。

【0012】

図３は、演奏データ処理システムを構成する要素の一例を示すブロック図である。演奏データ処理システムは、アプリケーションを中核とし、入力装置と出力装置、そしてアプリケーションからアクセス可能な各種のデータベースを組み合わせて構成される。

【0013】

図３において、入力装置としてのＭＩＤＩ入力装置は、図１のデジタルキーボード１００に相当し、ユーザの演奏をＭＩＤＩメッセージとしてアプリケーションに渡すための装置である。またデジタルキーボード１００は、少なくとも１つのＣＰＵ（Central Processing Unit）やＭＩＤＩデータを解析して音出力データを生成するＤＳＰ（Digital Signal Processor）等の演算処理ユニットと、デジタルの音出力データをアナログ化して外部に音出力するスピーカ等の出力装置と、を備えている。ＭＩＤＩメッセージを受信したアプリケーションは、楽曲検索用データベース（ＤＢ）、画像ＤＢ、およびアライメントＤＢにアクセスして、ＭＩＤＩメッセージから適切な画像を選択し、出力装置に渡す。出力装置は、表示装置により画像を表示する。

【0014】

ここで、アプリケーションは、例えばソフトウェアモジュールとしての楽曲検索処理部、アライメント処理部（導出処理部）、および、画像表示処理部を備える。これらのモジュールおよび各データベースについて、図４を参照してさらに詳しく説明する。

【0015】

図４は、コンピュータ２００の一例を示す機能ブロック図である。コンピュータ２００は、プロセッサ１１、ＲＯＭ（Read Only Memory）１２、ＲＡＭ（Random Access Memory）１３、内部バス１４、入出力インタフェース１５、入力部１６、通信部１７、および、出力部２１を備える。

【0016】

プロセッサ１１は、少なくとも１つのＣＰＵ、またはＭＰＵ（Micro Processing Unit）等の演算処理ユニットであり、ＲＯＭ１２に記憶されたプログラム１２ａに従って実施形態の諸機能を実現する。
ＲＡＭ１３は、プロセッサ１１のワーキングメモリとして機能するとともに、楽曲データ１３ａを記憶する。楽曲データ１３ａは、例えばＭＩＤＩデータであり、複数の曲ごとに、音符の位置や長さ、拍子などの情報を記録したデータである。
入力部１６は、キーボードやポインティングデバイスを備えた操作部２０１に接続され、ユーザの操作を受け付ける。

【0017】

通信部１７は、デジタルキーボード１００に接続可能なインタフェースであり、ＭＩＤＩインタフェース４００を介して、デジタルキーボード１００からの演奏データ（ＭＩＤＩメッセージ）を受信する。
出力部２１は、プロセッサ１１により選択された画像を、映像インタフェース５００経由でプロジェクター３００に送信し、ビジュアルに出力させる。

【0018】

ＲＯＭ１２は、フラッシュメモリ等の不揮発性記憶デバイスであり、コンピュータ２００を制御するプログラム１２ａに加えて、楽曲検索用データベース１２ｂ、画像データベース１２ｃ、および、アライメントデータベース１２ｄを記憶する。
楽曲検索用データベース１２ｂは、プロセッサ１１による楽曲検索処理時に参照されるデータベースであり、複数の楽曲ごとに、当該楽曲に関する情報を対応付けて登録したデータベースである。楽曲検索用データベース１２ｂは、例えば、各楽曲の検索のためのキーやタイトル、画像取得のための情報等を保持する。演奏データから生成されたクエリを検索キーとして楽曲検索用データベース１２ｂに送信することで、対応する楽曲の楽曲情報が抽出される。

【0019】

画像データベース１２ｃは、静止画表示或いは動画表示を行うための画像を保持するデータベースであり、複数の画像の画像データを、例えばjpegやPNGなどのフォーマットで登録したデータベースである。
アライメントデータベース１２ｄは、複数の楽曲ごとに、アライメント処理を行うための楽曲全体のメロディ情報を対応付けて登録したデータベースである。

【0020】

プロセッサ１１は、実施形態に係わる処理機能として楽曲検索処理部１１ａ、アライメント処理部１１ｂ、および、画像表示処理部１１ｃを備える。楽曲検索処理部１１ａ、アライメント処理部１１ｂ、および、画像表示処理部１１ｃは、プログラム１２ａに基づくプロセッサ１１の演算処理により実現される、処理機能である。すなわちプログラム１２ａは、プロセッサ１１に、楽曲検索処理部１１ａ、アライメント処理部１１ｂ、および、画像表示処理部１１ｃのそれぞれの機能を実行させる命令を含む。

【0021】

楽曲検索処理部１１ａは、ユーザがデジタルキーボード１００を演奏することに伴って発生する演奏データ（ＭＩＤＩメッセージ列）に基づいて、楽曲検索用データベース１２ｂを検索し、その演奏に対応する楽曲を特定する。楽曲が特定されると、楽曲検索処理部１１ａは、その楽曲の情報を楽曲検索用データベース１２ｂから取得する。

【0022】

アライメント処理部１１ｂは、楽曲検索処理部１１ａにより特定された楽曲とユーザの演奏との合致度を、演奏データの時系列に基づいて繰り返し計算する。合致度の計算には、演奏データと、アライメントデータベース１２ｄに保持された情報との双方が参照される。すなわちアライメント処理部１１ｂは、アライメント処理を実行する。アライメント処理により、現在、その時点において楽曲のどの部分が演奏されているか等の情報も取得することができる。

【0023】

ちなみに、演奏と楽譜との同期をとる技術は、スコアアライメントと称して知られている。また、演奏と音源（ＰＣＭ）との同期はオーディオ・トゥ・オーディオ（audio to audio）アライメント、演奏と音源（midi）との同期はオーディオ・トゥ・ＭＩＤＩ（audio to midi）アライメント等と称される。
さらに、アライメント処理部１１ｂは、演奏の途中で合致度が既定の基準を満たさなくなった場合に、現在の演奏に対応する楽曲の再検索を楽曲検索処理部１１ａにリクエストする。

【0024】

画像表示処理部１１ｃは、楽曲検索処理部１１ａにより特定された楽曲に対応する画像を、画像データベース１２ｃに保持された画像から選択し、出力部２１に送出する。これにより、演奏に対応する画像（イラスト等）がプロジェクター３００から出力される。

【0025】

次に、上記構成を基礎として、複数の実施形態について説明する。
［第１の実施形態］
図５は、実施形態に係わる演奏データ処理システムにおける処理手順の一例を示すシーケンス図である。図５において、演奏者がデジタルキーボード１００を演奏することで発生するＭＩＤＩメッセージは、楽曲検索処理部１１ａおよびアライメント処理部１１ｂに入力される（処理ｐ１，ｐ２）。

【0026】

楽曲検索処理部１１ａは、取得したＭＩＤＩメッセージの時系列（ＭＩＤＩメッセージ列）から、楽曲検索のためのクエリを生成する（処理ｐ３）。そして、楽曲検索処理部１１ａは、生成したクエリをキーとして楽曲検索用データベース１２ｂを検索し（処理ｐ４）、該当する楽曲の楽曲情報を取得する（処理ｐ５）。取得された楽曲情報はアライメント処理部１１ｂに渡される（処理ｐ６）。

【0027】

アライメント処理部１１ｂは、楽曲情報をキーとしてアライメントデータベース１２ｄを検索し（処理ｐ７）、曲全体のメロディ情報を取得する（処理ｐ８）。アライメント処理部１１ｂは、ＭＩＤＩメッセージ列と、取得されたメロディ情報との合致度を繰り返し計算（導出）する（処理ｐ９）。つまり、処理ｐ９では、演奏している楽曲と、楽曲検索用データベース１２ｂに保存されている複数の楽曲とのそれぞれの合致度を算出（導出）している。

【0028】

ここで、演奏中に一旦、合致度が既定の基準を満たしていたとしても、例えば、演奏を中断することなく連続して次々と別の曲が演奏されると（メドレーなど）、楽曲単位での合致度が変わる場合がある。また、演奏している楽曲と似たようなフレーズの別の楽曲があり、合致度を算出する対象がこの別の曲であるために、演奏が進むたびに合致度が変わってくる場合がある。

【0029】

このように、メドレーのような曲の切り替えにより、または、同一曲の演奏過程において、合致度が既定の基準を満たした状態から満たさない状態に遷移する場合（例えば、予め定められたしきい値よりも低くなった場合）がある。合致度が既定の基準を満たした状態から満たさない状態に遷移すると、アライメント処理部１１ｂは、楽曲の再検索を楽曲検索処理部１１ａに依頼する（処理ｐ１０）。この場合、処理ｐ３に戻り、処理ｐ３～ｐ９の手順が繰り返される。

【0030】

合致度の値が基準を満たしているならば、楽曲検索処理部１１ａは、楽曲情報を画像表示処理部１１ｃに与える（処理ｐ１１）とともに、アライメント処理部１１ｂは、計算された合致度情報を画像表示処理部１１ｃに渡す（処理ｐ１２）。画像表示処理部１１ｃは、与えられた楽曲情報に含まれる歌詞情報（例えば歌詞「赤とんぼ」）に対応する画像（例えば「赤とんぼ」の絵、写真、動画等）を画像データベース１２ｃから選択し、取得する（処理ｐ１３）。これに応じて画像データベース１２ｃは、選択された画像の画像データを画像表示処理部１１ｃに返送する（処理ｐ１４）。画像表示処理部１１ｃは、受信した画像データを出力装置に表示する（処理ｐ１５）。

【0031】

図６を参照して、図５における処理ｐ３，ｐ４について詳しく説明する。図６は、楽曲検索処理部１１ａの処理手順の一例を示すフローチャートである。
図６において、楽曲検索処理部１１ａは、デジタルキーボード１００から取得したＭＩＤＩメッセージ列からNote On情報を取得する（ステップＳ１１）。次に、楽曲検索処理部１１ａは、クエリ生成に十分な数のNote On情報が取得されたかどうかを確認し（ステップＳ１２）、不十分である場合には（Ｎｏ）、再度Note Onの取得を繰り返す。

【0032】

十分な数のNote On情報が取得されると（Ｙｅｓ）、楽曲検索処理部１１ａは、Note Onメッセージ列に含まれる音高の遷移から、楽曲検索用データベース１２ｂ向けのクエリを生成する（ステップＳ１３）。最後に、楽曲検索処理部１１ａは、生成したクエリを用いて楽曲検索用データベース１２ｂを検索する（ステップＳ１４）。

【0033】

図７を参照して、図５における処理ｐ１２～ｐ１５について詳しく説明する。図７は、第１の実施形態での画像表示処理部１１ｃの処理手順の一例を示すフローチャートである。
図７において、画像表示処理部１１ｃは、処理ｐ５で取得した楽曲情報の歌詞情報と、比較対象となる画像の情報との適合度合を示す合致度を含む合致度情報をアライメント処理部１１ｂから取得する（ステップＳ２１）。次に、画像表示処理部１１ｃは、合致度の値を参照し、既定の閾値と比較する（ステップＳ２２）。ここで、合致度が高い（閾値以上である）場合には（Ｙｅｓ）、楽曲検索により取得した楽曲情報における歌詞情報に対応する画像を画像データベース１２ｃから取得する（ステップＳ２３）。

【0034】

なお、画像データベース１２ｃに歌詞情報に対応する画像が複数保持されている場合、コンピュータ２００は、演奏中に、対応する複数の画像のうちの２つ以上を順次、或いは交互に表示するように適宜調整してもよい。さらに、画像が動画である場合、コンピュータ２００は、残りの演奏推定時間に合わせて最適な長さの動画を選択して表示装置に出力してもよい。ここで最適な長さの動画としては、残りの演奏推定時間と実質的に同等の表示時間の動画が最も好ましい。次に、残りの演奏推定時間以上の動画が好ましい。

【0035】

なお、残りの演奏推定時間より短い表示時間の動画であっても、コンピュータ２００は、表示装置に繰り返し表示を指示したり、表示装置での表示速度を遅らせることで動画の表示時間を演奏推定時間と実質的に同等となるように調整してもよい。

【0036】

一方、画像データベース１２ｃに保持されている全ての画像による合致度が全て低い（閾値未満である）場合には、画像表示処理部１１ｃは、予め用意された汎用的画像を画像データベース１２ｃから取得する（ステップＳ２４）。汎用的画像とは、例えば、抽象的な画像であったり、あるいは、今まで表示していた絵柄とタッチやイメージが似ている別の画像など、どのような曲想にも対応する画像にするとよい。特に、演奏開始直後であって最初の検索が終了するまでは合致度が低くならざるを得ないので、どのような曲でもそれなりにマッチするような画像を予め設定しておくとよい。

【0037】

次に、画像表示処理部１１ｃは、取得した画像を画像を表示装置（プロジェクター３００）に出力して表示するよう指示する（ステップＳ２５）。そして、画像表示処理部１１ｃは、最後の打鍵・離鍵からの経過時間をカウントアップし、カウント値を既定の値と比較するなどの処理により、演奏が終了したか否かを判断する（ステップＳ２６）。演奏終了が判断されると（Ｙｅｓ）、画像表示処理部１１ｃは、画像の表示を停止して（ステップＳ２７）処理を終了する。

【0038】

一方、演奏の継続中が判断されると（ステップＳ２６でＮｏ）、画像表示処理部１１ｃは次の画像を表示するか、つまり、画像の切り替えタイミングか否かを判断する（ステップＳ２８）。画像切り替えのタイミングでなければ（Ｎｏ）、処理手順は表示装置への表示を継続した状態でステップＳ２６に戻ってループする。

【0039】

ステップＳ２８において、画像の切り替えのタイミングと判断されると（Ｙｅｓ）、画像切替時のエフェクト処理（フェードなど）を適宜設定し（ステップＳ２９）、処理手順はステップＳ２２に戻って次の画像の選択からの手順が繰り返される。

【0040】

図８を参照して、図５における処理ｐ６～ｐ９について詳しく説明する。図８は、アライメント処理部１１ｂの処理手順の一例を示すフローチャートである。
図８において、アライメント処理部１１ｂは、楽曲検索処理部１１ａによる楽曲の検索結果としてヒットした楽曲の、楽曲情報を取得する（ステップＳ４１）。また、アライメント処理部１１ｂは、現時点までの演奏で発生したＭＩＤＩデータ列に含まれるNote情報を取得する（ステップＳ４２）。これらの情報に基づいて、アライメント処理部１１ｂはアライメントデータベース１２ｄを検索し（ステップＳ４３）、楽曲のメロディ情報を取得する。

【0041】

そして、アライメント処理部１１ｂは、取得したNote情報とメロディ情報との合致度を計算し（ステップＳ４４）、合致度情報を算出（導出）する。なお演奏開始直後は、合致度情報として低い値を返すようにしても良い。得られた合致度情報は、画像表示処理部１１ｃに渡される（ステップＳ４５）。ここで、合致度が閾値未満であれば（ステップＳ４６でＹｅｓ）、アライメント処理部１１ｂは、楽曲検索処理部１１ａに楽曲の再検索を依頼する（ステップＳ４７）。

【0042】

図９は、図８のステップＳ４４における合致度の計算について説明するための図である。例えば、ＤＰマッチング法により楽曲情報とメロディラインとの合致度を計算することができる。

【0043】

図９において、横軸は演奏のNote情報でありａ，ｂ，ｃは音高を示す。縦軸はアライメントデータベース１２ｄから取得したメロディ情報であり、同様にａ，ｂ，ｃは音高を示す。状態は、左下の始状態から右上の終状態へと遷移してゆく。隣り合う状態へのパスごとに、各状態の累積値が設定される。

【0044】

縦軸と横軸が異なる状態（音高）の場合、ペナルティ加算される図９では、横方向の遷移で状態が同じならば２点、異なるならば２０点が加算される。縦方向の遷移で状態が同じならば２点、異なるならば２０点が加算される。斜め方向の遷移では、状態が同じならば１点、異なるならば１０点が加算される。

【0045】

図９の右端の囲み部分（７フレーム目）を現在時刻とすると、７音目での最小スコアは１４であり、この値は、基本的に演奏とメロディ情報とが似ているほど小さくなる。そこで、式（１）のようにフレーム数で正規化することにより、合致度を簡易的に計算することができる。加えて、最小値を記録した縦軸の位置により、楽曲が演奏されている凡その位置（場所）を知ることもできる。

【0046】

【数1】

【0047】

以上説明したように、第１の実施形態では、演奏で生じる演奏データからクエリを生成し、楽曲検索用データベースを検索することにより楽曲情報を取得する。また、楽曲情報に対応するメロディ情報をアライメントデータベースから取得し、アライメント処理により、楽曲情報とメロディラインとの合致度を継続的に計算する。そして、合致度が低下すると、楽曲検索用データベースを再検索することにより再度、演奏にマッチする曲を特定する。このように、演奏が続いている限り、演奏と楽曲との合致の度合いが常に計算され続けるので、曲にマッチする画像データを常時、取得できるようになる。

【0048】

上述のように、合致度が低くなった場合、これまでの演奏における合致度を加味して総合的に適合する曲を取得してもよいし、あるフレーズから極端に合致度が低くなった場合、これまでの演奏の合致度をリセットして、低くなった時点から合致度を算出（導出）するようにしてもよい。後者の場合、演奏を中断することなく、メドレーのように曲が次々と変わっていっても、適切な画像が常に選択されて画像表示されるようになる。

【0049】

既存の技術では、一旦、曲が特定されてしまうと途中での修正が効かず、曲に応じた画像に違和感を生じさせる場合があった。つまり、一度検索を終えて、合致度の高い曲が確定してしまうと、続けて違う曲を演奏したとしても、合致度が高い曲と関連したイラストが続けて表示されてしまう場合があった。これに対し第１の実施形態の技術によれば、そのようなミスマッチを生じる恐れがない。つまり第１の実施形態によれば、演奏と表示画像とが一致しなくなるとただちに修正され、また、ミスマッチが目立たないような画像を選択することもできる。また、演奏している楽曲と似たようなフレーズの別の楽曲があり、合致度を算出する対象がこの別の曲であるために、演奏が進むたびに合致度が変わってくる場合でも上述と同様な効果を奏することができる。

【0050】

これらのことから第１の実施形態によれば、演奏にマッチする画像を高い精度で提示できるようになり、これにより、演奏することの楽しさをさらに高めたプログラム、情報処理装置、情報処理方法、および、演奏データ処理システムを提供することが可能になる。

【0051】

［第２の実施形態］
第１の実施形態では、合致度がしきい値以上と判定された後、引き続き演奏中に合致度が低くなった場合に、演奏にマッチする画像データを画像データベース１２ｃから再検索する例について説明した。第１の実施形態では、例えば最初に曲「赤とんぼ」の演奏が認識されると、画像表示装置は赤とんぼに関係する絵を表示する。また、最初に曲「雪の降るまちを」の演奏が認識されると、画像表示装置は、例えば雪が降っている街並み等の画像を表示する。そして、演奏が終了するまで同じパターンの画像を表示し続けることもあり得る。

【0052】

しかし、演奏とともにフレーズが進行していくと、歌詞の内容や曲調（曲の明るさ、暗さ等の雰囲気や短調、長調を含む）が変化することがある。つまり、同じ曲であっても、歌詞の内容、あるいは曲調が変わることにより、求められる画像が変わっていくことがある。曲「赤とんぼ」や曲「雪の降るまちを」の演奏においても、フレーズの進行とともに求められる画像が変わっていくことがある。このようなケースでも、演奏しているフレーズに対してより適合した画像を表示することが好ましい。

【0053】

そこで、第２の実施形態では、楽曲データにおける歌詞内容を含む歌詞情報の変化や曲調の変化に応じて、同一楽曲の演奏中に適切なタイミングで歌詞情報や曲調に合った表示画像に切り替えることを実現する。第２の実施形態において、第１実施形態と同様な部分は適宜説明を省略する。

【0054】

図１０は、第２の実施形態での画像表示処理部１１ｃの処理手順の一例を示すフローチャートである。図２において、画像表示処理部１１ｃは、処理ｐ５で取得した楽曲情報における、楽曲を構成する複数のフレーズから、演奏予定順に１つずつフレーズを抽出する。そして、画像表示処理部１１ｃは、抽出された１つのフレーズの歌詞情報と曲調情報との少なくともいずれか一方と、画像との適合度合を示す合致度を含む合致度情報をアライメント処理部１１ｂから順次取得する（ステップＳ２１）。ここで、歌詞情報は、例えば歌詞の内容に応じたデジタル値のデータを含む。曲調情報は、曲調に応じたデジタル値のデータを含む。

【0055】

次に、画像表示処理部１１ｃは、フレーズごとの合致度の値を参照し、既定の閾値と比較する（ステップＳ２２）。ここで、楽曲検索により取得した楽曲情報における楽曲を構成する各フレーズに対する合致度がそれぞれ高い（閾値以上である）画像が画像データベース１２ｃにあった場合（Ｙｅｓ）、画像表示処理部１１ｃは、各フレーズに対応する画像を画像データベース１２ｃから順次取得する（ステップＳ３０）。

【0056】

ここで、ある１つのフレーズに合致度の高い画像データが画像データベース１２ｃに複数あった場合、コンピュータ２００は、その中からランダムに選ばれた画像を表示するよう指示してもよい。あるいは、過去の表示履歴を読み出し、直近に表示した画像を除いた画像の中から選択して表示するよう指示してもよい。

【0057】

一方、ステップＳ２２において、合致度が全て低い（閾値未満である）場合には、画像表示処理部１１ｃは、予め用意された汎用的画像を画像データベース１２ｃから取得する（ステップＳ２４）。そして画像表示処理部１１ｃは、ステップＳ３０またはステップＳ２４において取得した画像を画像を、表示装置（プロジェクター３００）に出力して表示するよう指示する（ステップＳ２５）。その後、第１の実施形態と同様にステップＳ２６～ステップＳ２９の処理手順が実行される。

【0058】

図１１は、きらきら星の譜例を示し、第２の実施形態では、この譜例を表現する楽曲データを例えば図１２のような構造とする。

【0059】

図１２は、楽曲データ１３ａの一例を示す図である。図１１の譜例に対応する楽曲データ１３ａ（図４）は、小節のそれぞれの拍ごとに、音符の音高と音長、および微妙なタイミングを示すティック（ｔｉｃｋ）が対応付けて記録されている。また、メタイベントとしてテンポ、拍子を含み、さらにフレーズ番号が埋め込まれている。

【0060】

第２の実施形態ではさらに、楽曲データ１３ａのフレーズ番号に対応する領域に、フレーズ単位の歌詞情報及び曲調情報の少なくとも一方に合わせてフレーズを演奏中に表示すべき画像の画像番号（識別子）を追加して登録する。そして、演奏の進行に対応する位置の画像番号をキーとして画像データベース１２ｃから適合する画像を検索する。検索の結果、特定された画像データに基づいた画像を、演奏中であって且つ画像番号に合わせたタイミング（フレーズと次のフレーズとの切り替えタイミング）で表示装置に表示させる。

【0061】

図１３は、第２の実施形態での画像表示処理部１１ｃの処理手順の一例を示すフローチャートである。図７との比較において異なる部分についてのみ説明する。
図１３のステップＳ２６までは第１の実施形態と同様の手順が実施される。ステップＳ２６で演奏の継続中が判断されると（Ｎｏ）、画像表示処理部１１ｃは次の画像を表示するか、つまり、次のフレーズに移行する際に次のフレーズに適合した画像に切り替えるタイミングか否かを判断する（ステップＳ３１）。画像表示処理部１１ｃは、検索された楽曲の楽曲データ１３ａの進行と対応付けてステップＳ３１の判断を実行する。

【0062】

つまり、演奏により次々に発生するＭＩＤＩデータ列と、楽曲データ１３ａとの対応付けにより、例えば（現在、７小節目の１拍目冒頭に差し掛かった）ということが判断できる。図１２を参照すると、この位置にはフレーズＰ４とともに、画像番号Ｇ４が対応付けられている。そこで、コンピュータ２００は、フレーズＰ４を演奏する前に、画像番号Ｇ４に対応する画像を画像表示処理部１１ｃから取得する（ステップＳ３２）。そして、画像に必要なエフェクト処理を施したのち（ステップＳ２９）、フレーズＰ４の演奏開始タイミングに合わせて画像番号Ｇ４に対応する画像を表示装置の表示を開始させる。つまり演奏している楽曲を特定することによって、この楽曲における、少なくとも１つ以上のフレーズ単位に合わせた画像を、演奏中に発生する、この少なくとも１つ以上のフレーズ単位の切り替えタイミングに表示開始させることができる。

【0063】

以上説明したように、第２の実施形態では、楽曲データ１３ａに、画像の切り替えタイミングと、表示するイラストを示す識別子（番号やファイル名など）とを予め格納し、入力された演奏データと楽曲データ１３ａとのタイミングとを照合し、両者のタイミングが合致した時点で、画像を切り替えるようにした。このようにすることで、最適な画像を最適なタイミングで切り替えることができるようになる。

【0064】

楽曲データとしても使用されるレッスンデータには、図１２に示されるように、フレーズデータが定義されているものも多い。そこで、第２の実施形態のように、フレーズデータとともに画像データの番号を楽曲データに埋め込んでおくことで、フレーズ切り替えのタイミングで適切な画像に切り替えることができる。

【0065】

また、歌詞も、フレーズ位置に応じて内容に区切りのあるものが多い。そこで、楽曲データ１３ａに画像の切り替え情報を含めることで、歌詞の細かいタイミングに合わせた最適な画像表示が可能になる。さらに、画像の切り替えのタイミングをさらに細かくしたい場合には、例えば未定義のコントロールチェンジなどを使うことも可能である。

【0066】

これらのことから第２の実施形態によっても、演奏にマッチする画像を高い精度で提示できるようになり、これにより、演奏することの楽しさをさらに高めたプログラム、情報処理装置、情報処理方法、および、演奏データ処理システムを提供することが可能になる。

【0067】

なお、本発明は、具体的な実施形態に限定されるものではない。例えば実施形態では、実施形態に係わる処理部（ハードウェア）や機能（アプリケーション（ソフトウェア））をコンピュータ２００に実装する例を開示した。コンピュータ２００に代えて、デジタルキーボード１００に実施形態に係わる処理部や機能を実装してもよい。同様に、コンピュータ２００が表示手段を有していれば、画像表示装置３００の代替として、コンピュータ２００を表示装置として適用することができる。また、デジタルキーボード１００が表示手段を有していれば、画像表示装置３００の代替として、デジタルキーボード１００を適用することができる。

【0068】

上記実施形態では、計算処理によって合致度を導出したが、これに限らない。例えば、演奏中の演奏曲が、楽曲検索用データベース１２ｃに保持されている複数の楽曲のいずれかに適合するかどうかが判断できるテーブル、すなわち、演奏中の内容を示すデータ値を入力することによって、適合する楽曲を自動的に抽出するテーブルを用いることでも導出できる。

【0069】

さらに、本発明の技術的範囲には、本発明の目的が達成される範囲での様々な変形や改良などが含まれるものであり、そのことは当業者にとって特許請求の範囲の記載から明らかである。

【符号の説明】

【0070】

１１…プロセッサ１１ａ…楽曲検索処理部１１ｂ…アライメント処理部１１ｃ…画像表示処理部１２ａ…プログラム１２ｂ…楽曲検索用データベース１２ｃ…画像データベース１２ｄ…アライメントデータベース１３…ＲＡＭ１３ａ…楽曲データ１４…内部バス１５…入出力インタフェース１６…入力部１７…通信部２１…出力部１００…デジタルキーボード２００…コンピュータ２０１…操作部３００…プロジェクター４００…ＭＩＤＩインタフェース５００…映像インタフェース。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】