特許 7467907 プログラム、方法、電子機器、及び演奏データ表示システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-08

(45)【発行日】2024-04-16

(54)【発明の名称】プログラム、方法、電子機器、及び演奏データ表示システム

(51)【国際特許分類】

   G10G 1/00 20060101AFI20240409BHJP

   G10H 1/38 20060101ALI20240409BHJP

【ＦＩ】

G10G1/00

G10H1/38 Z

【請求項の数】 7

(21)【出願番号】P 2019231922

(22)【出願日】2019-12-23

(65)【公開番号】P2021099459

(43)【公開日】2021-07-01

【審査請求日】2022-12-13

(73)【特許権者】

【識別番号】000001443

【氏名又は名称】カシオ計算機株式会社

(74)【代理人】

【識別番号】110003708

【氏名又は名称】弁理士法人鈴榮特許綜合事務所

(74)【代理人】

【識別番号】100108855

【弁理士】

【氏名又は名称】蔵田 昌俊

(74)【代理人】

【識別番号】100103034

【弁理士】

【氏名又は名称】野河 信久

(74)【代理人】

【識別番号】100179062

【弁理士】

【氏名又は名称】井上 正

(74)【代理人】

【識別番号】100153051

【弁理士】

【氏名又は名称】河野 直樹

(74)【代理人】

【識別番号】100199565

【弁理士】

【氏名又は名称】飯野 茂

(74)【代理人】

【識別番号】100162570

【弁理士】

【氏名又は名称】金子 早苗

(72)【発明者】

【氏名】加福 滋

(72)【発明者】

【氏名】奥田 広子

(72)【発明者】

【氏名】渋谷 敦

【審査官】山下 剛史

(56)【参考文献】

【文献】特開２００４－３４７７０３（ＪＰ，Ａ）

【文献】特開平６－３５４５６（ＪＰ，Ａ）

【文献】特開２００８－２３３５７６（ＪＰ，Ａ）

【文献】特開２０１９－１０１１６８（ＪＰ，Ａ）

【文献】特開平１１－３５２９６０（ＪＰ，Ａ）

【文献】特開平１１－２２４０８４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ１０Ｇ １／００－３／０４

Ｇ１０Ｈ １／００－１／４６

(57)【特許請求の範囲】

【請求項1】

情報処理装置のコンピュータに、
入力された演奏データが、少なくとも第１機器及び第２機器のいずれから入力された演奏データであるかを判定させ、
前記第１機器と判定された場合に、入力された演奏データに基づいて判定できる情報に応じて、第１画像グループのなかに含まれる第１画像データを表示させ、
前記第２機器と判定された場合に、入力された演奏データに基づいて判定できる情報が、たとえ前記第１機器と判定された場合と同じであったとしても、第２画像グループのなかに含まれる、前記第１画像データとは異なる態様の第２画像データを表示させ、
前記第１画像グループ及び前記第２画像グループのなかには、同じ画像データが含まれていてもよい、
プログラム。

【請求項2】

前記いずれから入力された演奏データであるかは、入力された演奏データに含まれる情報から判定させる、
請求項１に記載のプログラム。

【請求項3】

前記判定できる情報は、少なくとも音名情報及び、コード種別情報のいずれかを含む、
請求項１または２に記載のプログラム。

【請求項4】

前記第１機器は、第１電子楽器及びオーディオインタフェースのいずれかを含み、
前記第２機器は、第２電子楽器及びオーディオインタフェースのいずれかを含む、
請求項１乃至３のいずれか一項に記載のプログラム。

【請求項5】

情報処理装置のコンピュータに、
入力された演奏データが、少なくとも第１機器及び第２機器のいずれから入力された演奏データであるかを判定させ、
前記第１機器と判定された場合に、入力された演奏データに基づいて判定できる情報に応じて、第１画像グループのなかに含まれる第１画像データを表示させ、
前記第２機器と判定された場合に、入力された演奏データに基づいて判定できる情報が、たとえ前記第１機器と判定された場合と同じであったとしても、第２画像グループのなかに含まれる、前記第１画像データとは異なる態様の第２画像データを表示させ、
前記第１画像グループ及び前記第２画像グループのなかには、同じ画像データが含まれていてもよい、
方法。

【請求項6】

ディスプレイ装置と、
プロセッサと、を含み、前記プロセッサが、
入力された演奏データが、少なくとも第１機器及び第２機器のいずれから入力された演奏データであるかを判定し、
前記第１機器と判定された場合に、入力された演奏データに基づいて判定できる情報に応じて、第１画像グループのなかに含まれる第１画像データの前記ディスプレイ装置への表示を指示し、
前記第２機器と判定された場合に、入力された演奏データに基づいて判定できる情報が、たとえ前記第１機器と判定された場合と同じであったとしても、第２画像グループのなかに含まれる、前記第１画像データとは異なる態様の第２画像データの前記ディスプレイ装置への表示を指示し、
前記第１画像グループ及び前記第２画像グループのなかには、同じ画像データが含まれていてもよい、
電子機器。

【請求項7】

第１機器と、第２機器と、ディスプレイ装置と、を備え、
前記第１機器は、
第１ユーザによる演奏操作に応じて前記第１機器を識別可能な第１識別子を含む第１演奏データを生成するとともに、生成された前記第１演奏データを前記ディスプレイ装置に出力し、
前記第２機器は、
第２ユーザによる演奏操作に応じて前記第２機器を識別可能な第２識別子を含む第２演奏データを生成するとともに、生成された前記第２演奏データを前記ディスプレイ装置に出力し、
前記ディスプレイ装置は、
入力される前記第１演奏データに基づいて判定できる情報に応じて、第１画像グループのなかに含まれる第１画像データを表示し、
入力される前記第２演奏データに基づいて判定できる情報が、たとえ前記第１演奏データに基づいて判定できる情報と同じであったとしても、第２画像グループのなかに含まれる、前記第１画像データとは異なる態様の第２画像データを表示し、
前記第１画像グループ及び前記第２画像グループのなかには、同じ画像データが含まれていてもよい、
演奏データ表示システム。

【発明の詳細な説明】

【技術分野】

【0001】

実施形態は、プログラム、方法、電子機器、及び演奏データ表示システムに関する。

【背景技術】

【0002】

例えば、ＭＩＤＩ（Ｍｕｓｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）楽曲のような音楽の演奏に同期して踊り手（ダンサ）等の画像オブジェクトを動かし、音楽の曲想のみならず、楽音の進行に応じてこれと一体的に変化する動画像を生成することができるコンピュータグラフィックス動画像生成システムが知られている（特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開平１１－２２４０８４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に開示されたコンピュータグラフィックス動画像生成システムでは、単に演奏中に踊り手を示すキャラクタを動的に出現させているだけなので、表現力が乏しいという問題がある。

【0005】

本発明は、このような事情に鑑みなされたものであり、例えば、演奏の視覚的な表現力に優れたプログラム、方法、電子機器、及び演奏データ表示システムを提供することを目的とする。

【課題を解決するための手段】

【0006】

実施形態に係るプログラムによれば、情報処理装置のコンピュータに、入力された演奏データが、少なくとも第１機器及び第２機器のいずれから入力された演奏データであるかを判定させ、前記第１機器と判定された場合に、入力された演奏データに基づいて判定できる情報に応じて、第１画像グループのなかに含まれる第１画像データを表示させ、前記第２機器と判定された場合に、入力された演奏データに基づいて判定できる情報が、たとえ前記第１機器と判定された場合と同じであったとしても、第２画像グループのなかに含まれる、前記第１画像データとは異なる態様の第２画像データを表示させ、前記第１画像グループ及び前記第２画像グループのなかには、同じ画像データが含まれていてもよい。

【発明の効果】

【0007】

本発明によれば、例えば、演奏の視覚的な表現力に優れたプログラム、方法、電子機器、及び演奏データ表示システムを提供することができる。

【図面の簡単な説明】

【0008】

【図1】図１は、適用例に係るプログラムを含む演奏データ表示システムの一例を模式的に例示する図である。

【図2】図２は、実施形態に係る演奏データ表示システムの概要を示す図である。

【図3】図３は、実施形態に係る電子楽器の制御システムのハードウェアを示す図である。

【図4】図４は、実施形態に係る情報処理装置のハードウェアを示す図である。

【図5】図５は、ＲＯＭのテーブルに、記憶されているテーブルの一例を示す図である。

【図6】図６は、画像（キャラクタ）の表示例について示した図である。

【図7】図７は、ディスプレイ装置の表示部に表示されるリアルタイム画像における画像（キャラクタ）の軌道パターンの一例について示した図である。

【図8】図８は、画像決定部が生成する軌道パターンの一例である渦巻線を示す図である。

【図9】図９は、情報処理装置に接続される楽器の接続ケースを示した表である。

【図10】図１０は、情報処理装置の動作を示すフローチャートである。

【図11】図１１は、第１ユーザがメロディを弾いている場合における、リアルタイム画像を示している。

【0009】

【図12】図１２は、第１及び第２ユーザが曲の演奏を終了した後の演奏後画像を示している。

【図13】図１３は、４つの楽器を情報処理装置に接続する場合におけるリアルタイム画像の一例を示した図である。

【図14】図１４は、３つ以上の楽器を情報処理装置に接続する場合におけるリアルタイム画像の一例を示した図である。

【図15】図１５は、情報処理装置の動作を示すフローチャートである。

【図16】図１６は、図１５に関するリアルタイム画像の一例を示した図である。

【発明を実施するための形態】

【0010】

以下、本発明の一側面に係る実施の形態（以下、「実施形態」とも表記する）を、図面に基づいて説明する。ただし、以下で説明する実施形態は、あらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。つまり、本発明の実施にあたって、実施形態に応じた具体的構成が適宜採用されてもよい。なお、実施形態において登場するデータを自然言語により説明しているが、より具体的には、コンピュータが認識可能な疑似言語、コマンド、パラメータ、マシン語等で指定される。

【0011】

＜０＞適用例
まず、図１を用いて、本発明が適用される場面の一例について説明する。図１は、適用例に係るプログラムを含む演奏データ表示システムの一例を模式的に例示する。演奏データ表示システムは、ユーザ（演奏者）の演奏（音楽）に合わせてリアルタイムに画像（絵）を描画することにより、ユーザの電子楽器の練習意欲を掻き立てることを想定している。

【0012】

＜０－１＞適用例の概要
演奏データ表示システムの構成を説明する前に、演奏データ表示システムの概要について説明する。演奏データ表示システムは、例えば複数のユーザの演奏を演奏データ（例えばＭＩＤＩデータ）として出力できる電子楽器等から受信した演奏データを解析し、複数のユーザの演奏を画像に変換する。例えば、演奏データには音名情報やコード種別情報は含まれておらず、演奏データに含まれるノートナンバー情報から音名情報やコード種別情報が判定できる。

【0013】

＜０－２＞適用例の構成
図１を参照して、適用例の構成について説明する。図１は、適用例に係る演奏データ表示システムの構成の一例を示した図である。

【0014】

図１に示すように、演奏データ表示システムは、第１楽器と、第２楽器と、情報処理装置と、ディスプレイ装置と、を含む。

【0015】

第１楽器は、第１ユーザの演奏を演奏データ（例えばＭＩＤＩデータ）に変換する。そして、その第１楽器は、演奏データを情報処理装置に出力する。

【0016】

より具体的には、第１楽器は、第１ユーザによる演奏操作に応じて第１楽器を識別可能な第１識別子（例えば、ＭＩＤＩの第１チャンネル番号）を含む第１演奏データを生成するとともに、生成された第１演奏データを情報処理装置に出力する。第１楽器は、例えば、キーボード、電子ピアノ、エレキギター、または電子バイオリン等の電子楽器である。ただし、第１楽器は、上述したものに限らず、実施の形態に応じて適宜選択されてよい。

【0017】

第２楽器は、第２ユーザの演奏を演奏データ（例えばＭＩＤＩデータ）に変換する。そして、その第２楽器は、演奏データを情報処理装置に出力する。

【0018】

より具体的には、第２楽器は、第２ユーザによる演奏操作に応じて第２楽器を識別可能な第２識別子を含む第２演奏データを生成するとともに、生成された第２演奏データを情報処理装置に出力する。第２楽器は、例えば、電子楽器、ボーカルマイク、またはアコースティックピアノ等である。ただし、第２楽器は、上述したものに限らず、実施の形態に応じて適宜選択されてよい。

【0019】

情報処理装置は、入力された演奏データが、少なくとも第１楽器及び第２楽器のいずれから入力された演奏データであるかを判定する。また、情報処理装置は、入力された演奏データが第１機器からの演奏データであると判定した場合に、入力された演奏データに基づいて判定できる情報（例えば、音名、コード種別等）に応じて、第１画像（キャラクタ）データを出力する。また、情報処理装置は、入力された演奏データが第２機器からの演奏データであると判定した場合に、入力された演奏データに基づいて判定できる情報（例えば、音名、コード種別等）が、たとえ第１演奏データに基づいて判定できる情報と同じあったとしても、第１画像データとは異なる態様の第２画像データ（キャラクタ）を出力する。情報処理装置は、例えば、ＰＣ（パーソナルコンピュータ）である。なお、「設定」、または「登録」は、基本的には「記憶」と同様の意味である。

【0020】

ディスプレイ装置は、第１ユーザの演奏に基づく画像と、第２ユーザの演奏に基づく画像と、を表示部にて表示する。上述したように、第１ユーザの演奏に基づく画像は、第１画像グループに基づき生成されており、第２ユーザの演奏に基づく画像は、第２画像グループに基づき生成されている。そのため、第１ユーザの演奏に基づく画像と、第２ユーザの演奏に基づく画像と、を判定することが可能である。

【0021】

＜０－３＞適用例の動作
次に、適用例に係る演奏データ表示システムの動作の一例について説明する。

【0022】

第１ユーザが第１楽器を用いて演奏を開始すると、情報処理装置は入力された演奏データに含まれる情報から、第１楽器からの演奏データ（第１演奏データ）であると判定する。そして、情報処理装置は、第１楽器の演奏に対して音楽解析を行う。具体的には、情報処理装置は、第１演奏データに含まれる音名（またはコード）に応じて、第１画像グループ（例えば虫のキャラクタを複数含むキャラクタグループ）のなかに含まれる画像（例えばかぶとむしのキャラクタ）を決定し、設定された第１条件（例えばコード進行に応じた表示）に従った軌道に沿って、リアルタイムに描画する。これにより、ディスプレイ装置には、第１画像グループのなかに含まれる画像（キャラクタ）がリアルタイムに表示される。なお、ここでの「リアルタイム」とは、演奏のタイミングと画像（キャラクタ）の表示タイミングと、は必ずしも同タイミングである必要はない。また、演奏に合わせて画像（キャラクタ）が表示される画像を、例えばリアルタイム画像と記載しても良い。つまり、リアルタイム画像の中に、複数の画像（キャラクタ）が描画されることになる。リアルタイム画像の描画方法については後述する。

【0023】

第２ユーザが第２楽器を用いて演奏を開始すると、情報処理装置は入力された演奏データに含まれる情報から、第２楽器からの演奏データ（第２演奏データ）であると判定する。そして、情報処理装置は、第２楽器の演奏に対して音楽解析を行う。具体的には、情報処理装置は、第２演奏データに含まれる音名（またはコード）に応じて、第２画像グループ（例えば動物のキャラクタを複数含むキャラクタグループ）のなかに含まれる画像（例えば、きりんのキャラクタ）を決定し、設定された第１条件（例えばコード進行に応じた表示）に従った軌道に沿って、リアルタイムに描画する。これにより、ディスプレイ装置には、第２画像グループのなかに含まれる画像（キャラクタ）がリアルタイムに表示される。

【0024】

このように、情報処理装置は、リアルタイム画像として、第１ユーザの演奏に基づく画像と、第２ユーザの演奏に基づく画像と、を判定できるように描画する。 また、第１ユーザ及び第２ユーザが楽器の演奏を終了した後、情報処理装置は設定された第２条件（例えば渦巻表示）に従って、ディスプレイ装置に画像データを表示させる。なお、このような画像を、例えば演奏後画像と記載しても良い。この演奏後画像としては、第１ユーザ及び第２ユーザユーザの演奏の始めから終わりまでに解析された画像（キャラクタ）が第２条件（例えば渦巻表示）に従って、描画される画像である。この際、リアルタイム画像と同様に、情報処理装置は、演奏後画像として、第１ユーザの演奏に基づく画像と、第２ユーザの演奏に基づく画像と、を判定できるように描画する。

【0025】

＜０－４＞適用例の効果
以上のように、適用例に係る演奏データ表示システムによれば、第１ユーザ、及び第２ユーザの演奏を判定し、表示する画像のグループを変更できる。換言すると、適用例に係る演奏データ表示システムによれば、第１ユーザ、及び第２ユーザの演奏中に、演奏と無関係な特有な操作を行うことなく、画像に関する設定（描画設定）を適宜行う事ができる。そのため、演奏データ表示システムは、第１ユーザ、及び第２ユーザが演奏に集中したまま、表現力の高い画像を生成することができる。

【0026】

＜１＞実施形態
＜１－１＞構成
＜１－１－１＞演奏データ表示システム
以下、図２を参照して、実施形態に係る演奏データ表示システムについて説明する。

【0027】

図２は、実施形態に係る演奏データ表示システムの概要を示す図である。

【0028】

図２に示すように、演奏データ表示システムは、例えば情報処理装置（電子機器）１と、電子楽器２（例えば２（０）、及び２（１））と、スピーカ３と、ディスプレイ装置４と、ＭＩＤＩパッチャ（ＭＩＤＩパッチベイ）５と、ボーカルマイク６と、アコースティックピアノ７と、オーディオインタフェース８と、を備えている。

【0029】

なお、図２では、一例として、２つの電子楽器２と、ボーカルマイク６と、アコースティックピアノ７と、を示しているが、これは一例である。少なくとも二つの楽器があれば良い。また、本実施形態では、電子楽器２、ボーカルマイク６、及びアコースティックピアノ７をまとめて楽器として取り扱う。

【0030】

＜１－１－２＞電子楽器
以下、図２及び図３を参照して、実施形態に係る電子楽器について説明する。図３は、実施形態に係る電子楽器の制御システムのハードウェアを示す図である。

【0031】

図２及び図３に示すように、本実施形態の情報処理装置１が接続される電子楽器２は、例えば、電子ピアノ、シンセサイザーや電子オルガン等の電子鍵盤楽器である。

【0032】

電子楽器２は、複数の鍵１１と、表示部２０と、操作部３０と、発音部４０と、を備えている。

【0033】

また、電子楽器２は、図３に示すように、押鍵検出部５０と、記憶部６０と、制御部７０と、通信部８０と、を備えている。

【0034】

鍵１１は、演奏者が音高を指定する操作子であり、演奏者が鍵１１を押鍵及び離鍵することで、電子楽器２は、指定された音高に対応する音の発音及び消音を行う。

【0035】

表示部２０は、例えば、タッチパネル付きの液晶モニタを有し、演奏者の操作部３０の操作に伴うメッセージの表示等を行う部分である。

【0036】

なお、本実施形態では、表示部２０がタッチパネル機能を有しているため、表示部２０は、操作部３０の一端を担うことができるようになっている。

【0037】

操作部３０は、演奏者が各種の設定等を行う操作ボタンを有し、音量調整等の各種の設定操作等を行うための部分である。

【0038】

発音部４０は、音を出力する部分であり、ＳＰアンプ４１（スピーカーアンプ）と、スピーカ４２と、ＨＰアンプ４３（ヘッドホンアンプ）と、スピーカ３（またはヘッドホン）のプラグを差し込むＨＰジャック４４（ヘッドホンジャック）と、ＨＰジャック４４にスピーカ３（またはヘッドホン）のプラグが差し込まれたことを検知するＨＰジャック挿入検出部４５と、を有している。

【0039】

スピーカ３（またはヘッドホン）のプラグがＨＰジャック４４に挿入されると、ＨＰジャック挿入検出部４５がその挿入を検出して、音の出力がＨＰジャック側に行われ、逆に、ＨＰジャック挿入検出部４５がプラグの挿入を検知していないときには、音の出力がスピーカ４２側に行われる。

【0040】

なお、スピーカ３の代わりに発音部４０を用いても良い。

【0041】

押鍵検出部５０は、鍵１１の押鍵及び離鍵を検知する部分であり、例えば、各鍵１１の下側にラバースイッチが設けられ、そのラバースイッチによって、押鍵及び離鍵が検出される。

【0042】

記憶部６０は、読み取り専用の記憶部であるＲＯＭ６１と、読み書きが可能な記憶部であるＲＡＭ６２と、を備えている。

【0043】

ＲＯＭ６１は、例えば、制御部７０が実行する制御プログラム（例えば、レッスンモードプログラム用のプログラム等）や各種データテーブル等を記憶している。

【0044】

ＲＡＭ６２は、それぞれの鍵１１に対応した楽音データ、楽曲データ等のデータが記憶される記憶領域であるとともに、演奏中に制御部７０が生成するデータや制御用プログラムを展開させるための一時記憶領域としても機能する。

【0045】

制御部７０は、電子楽器２全体の制御を司る部分である。制御部７０は、例えばＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）である。

【0046】

そして、制御部７０は、例えば、鍵１１の押鍵に応じて楽音を発音部４０から発音させる制御や鍵１１の離鍵に応じて発音部４０から発音されている楽音を消音する制御等を行う。

【0047】

通信部８０は、外部機器との間で通信を行うための無線ユニットや有線ユニットを備えており、本実施形態では、情報処理装置１が有線接続されており、後ほど説明するように、情報処理装置１にデータの送信が行われる。

【0048】

ただし、通信部８０は、送信機能だけを行うものに限定される必要はなく、受信機能を併せ持っていてもよい。

【0049】

そして、上記で説明した各部（表示部２０、操作部３０、発音部４０、押鍵検出部５０、記憶部６０、制御部７０、及び通信部８０）は、バス１００で通信可能に接続されており、各部間で必要なデータのやり取りが行えるようになっている。

【0050】

＜１－１－３＞ＭＩＤＩパッチャ
次にＭＩＤＩパッチャ（ＭＩＤＩパッチベイ）５について説明する。

【0051】

ＭＩＤＩパッチャ５とは、ＭＩＤＩ信号の経路をかえる機器である。

【0052】

具体的には、ＭＩＤＩパッチャには、ＭＩＤＩ ＩＮ端子と、ＭＩＤＩ ＯＵＴ端子がペアになって複数個用意されており、それぞれに番号が付いている。ＭＩＤＩパッチャは、スイッチ等で操作することにより、複数のMIDI機器の接続を自在に切り換えることができる。

【0053】

図２の場合、ＭＩＤＩパッチャ５は、二つの電子楽器２が接続された場合、二つの電子楽器２のＭＩＤＩ信号を情報処理装置１に転送する。

【0054】

＜１－１－４＞ボーカルマイク
次にボーカルマイク６について説明する。

【0055】

ボーカルマイク６は、ボーカルや生楽器の音を収集するための機器である。より具体的には、ボーカルマイク６は、音（空気の振動）を電気の信号に変換する。なお、ボーカルマイク６の例としては、ダイナミックマイク（電源不必要）、またはコンデンサーマイク（電源必要）等がある。

【0056】

＜１－１－５＞アコースティックピアノ
次にアコースティックピアノ７について説明する。

【0057】

アコースティックピアノ７は、電気的なスピーカを使わず、奏者が鍵盤を押すとハンマーが弦を叩いて振動し、その振動が響板、さらにボディ全体へと伝わって音が鳴る楽器である。図示していないが、アコースティックピアノ７の音を電気の信号に変換する際には、ボーカルマイク６と同様の機器を介する必要がある。

【0058】

＜１－１－６＞オーディオインタフェース
次に、オーディオインタフェース８について説明する。

【0059】

ところで、ボーカルやアコースティックピアノなどの音（アナログ信号といいます）を、情報処理装置１で扱う際には、デジタル信号に変換する必要がある。オーディオインタフェース８では、アナログ信号をデジタル信号に変換（ＡＤ変換）することができる機器である。そのため、オーディオインタフェース８を用いる事で、ボーカルマイク６、または、アコースティックピアノ７からのアナログ信号を、デジタル信号に変換し、情報処理装置１に供給することができる。

【0060】

＜１－１－７＞情報処理装置
続いて、図２及び図４を参照して、情報処理装置について説明する。図４は、実施形態に係る情報処理装置のハードウェアを示す図である。

【0061】

情報処理装置１は、本実施形態では、図２に示すように、ＰＣであり、後述するような画像をディスプレイ装置４に表示させるためのアプリケーションがインストールされている。

【0062】

ただし、情報処理装置１は、ＰＣに限定される必要はなく、タブレット型の携帯端末等であってもよい。

【0063】

また、情報処理装置１は、電子楽器２からＭＩＤＩコードを受信して曲データを再生させるシーケンサ等を備えていてもよい。

【0064】

図４に示すように、情報処理装置１は、主に、操作部１０１と、表示部１０２と、通信部１０３と、音出力部１０４と、制御部１０５と、記憶部１０６と、を備えている。

【0065】

操作部１０１は、例えば、情報処理装置１の電源のＯＮ／ＯＦＦを行うための電源スイッチ等のスイッチ類を含む。

【0066】

表示部１０２は、液晶モニタを有し、画像を表示できる。表示部１０２は、タッチパネル機能を有しても良い。その場合、表示部１０２は、操作部１０１の一端を担うことができる。なお、ディスプレイ装置４の代わりに表示部１０２を用いても良い。

【0067】

通信部１０３は、他の機器等との間で通信を行うための無線ユニットや有線ユニットを備えている。通信部１０３は、例えば電子楽器２、またはオーディオインタフェース８からのデータを受信する。また、通信部１０３は、例えばディスプレイ装置４の通信部に有線接続され、ディスプレイ装置４にデータを送信する。

【0068】

音出力部１０４は、音を出力する部分であり、スピーカやイヤホンジャック等を有している。

【0069】

記憶部１０６は、読み取り専用の記憶部である読み書きが可能な記憶部であるＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０６１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０６２と、を備えている。

【0070】

ＲＡＭ１０６１は、揮発性メモリを含み、制御プログラムを動作させる上で必要なデータが記憶される記憶領域であるとともに、制御部１０５が生成するデータ、電子楽器２から送られたデータ（音高情報を含む演奏情報）、及び、アプリケーションを展開させるための一時記憶領域等としても機能する。

【0071】

ＲＯＭ１０６２は、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（登録商標）（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）といった不揮発性の半導体メモリであって、いわゆる二次記憶装置又は補助記憶装置としての役割を担う。

【0072】

ＲＯＭ１０６２は、プログラム１０６２１及びテーブル１０６２２を記憶する。プログラム１０６２１は、制御部１０５が各種処理を行うために使用する。テーブル１０６２２は、演奏情報と画像とを紐付けしたテーブルである。

【0073】

制御部１０５は、情報処理装置１全体の制御を司る部分である。制御部１０５は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を備える。制御部１０５は、記憶部１０６のＲＯＭ１０６２に格納されたプログラム１０６２１を読み出し、記憶部１０６のＲＡＭ１０６１をワークエリアとして用いることにより、情報処理装置１を統括制御する。

【0074】

次に、実施形態に係る情報処理装置１の制御部１０５の機能構成について説明する。制御部１０５は、ＲＯＭ１０６２に格納されたプログラム１０６２１を読み出して実行することにより、演奏判定部１０５１と、画像決定部１０５２と、画像情報出力部１０５３と、条件判定部１０５４と、演奏終了判定部１０５５と、接続機器判定部１０５６と、として機能する。なお、演奏判定部１０５１と、画像決定部１０５２と、画像情報出力部１０５３と、条件判定部１０５４と、演奏終了判定部１０５５と、接続機器判定部１０５６と、は、それぞれプログラムではなく、回路構成によって実現されても良い。

【0075】

接続機器判定部１０５６は、外部（電子楽器２、またはオーディオインタフェース８）から入力された演奏データが、少なくとも第１機器（例えば電子楽器２）及び第２機器（例えば電子楽器２、またはオーディオインタフェース８）のいずれから入力された演奏データであるかを判定する。

【0076】

ところで、ＭＩＤＩデータは、ポートの中を通って送信される。そして、このポートには、例えば１６本の「チャンネル」が用意されている。音源は、１本のチャンネルにつき、１つのパートを再生することができる。そして、電子楽器２は、チャンネルを指定してＭＩＤＩデータを送信することができる。例えば、２つの電子楽器２が、異なるチャンネルを指定することで、接続機器判定部１０５６は、ＭＩＤＩデータのチャネルから、二つの電子楽器２を判定することができる。

【0077】

また、オーディオインタフェース８からのデジタル信号と、ＭＩＤＩ信号は異なる。そのため、接続機器判定部１０５６は、電子楽器２からの演奏データと、オーディオインタフェース８からの演奏データを判定することができる。

【0078】

演奏判定部１０５１は、通信部１０３を介して電子楽器２から受け付けた演奏情報（演奏データ）に基づいて、曲の調性（例えば、ハ長調からロ短調の２４種類）、音名（例えば、ド、レ、ミ…）、コード種別（例えば、Ｍａｊｏｒ、Ｍｉｍｏｒ、Ｓｕｓ４、Ａｕｇ、Ｄｉｍ、７ｔｈ等）、ベロシティ値（ＭＩＤＩ規格において音の強弱を表す数値）、音長、シンコペーション、コード機能、及びコード進行を判定する。なお、曲の調性、音名、コード種別、ベロシティ値、音長、シンコペーション、コード機能、及びコード進行の判定方法は、どのようなものでも良い。

【0079】

また、演奏判定部１０５１は、オーディオインタフェース８から受信したデジタル信号からピッチ抽出を行い、ピッチ情報から変換して得られたＭＩＤＩ情報を基に音楽解析を行う。また、演奏判定部１０５１は、オーディオインタフェース８から受信したデジタル信号に対して多重音解析を行い、多重音解析を結果から変換して得られたＭＩＤＩ情報を基に音楽解析を行う。なお、多重音解析で作られたＭＩＤＩは誤認識によるノイズが入る可能性があるため、誤認識により発生しやすい短いノートは無視する仕組みを入れても構わない。そして、演奏判定部１０５１は、電子楽器２から受信した信号と同様に、曲の調性、音名、コード種別、ベロシティ値、音長、シンコペーション、コード機能、及びコード進行を判定する。

【0080】

画像決定部１０５２は、接続機器判定部１０５６からの情報に基づき、どの楽器からデータを受信したかを判定できる。

【0081】

画像決定部１０５２は、電子楽器２から演奏情報を受け付ける毎に、演奏判定部１０５１により判定された情報に基づいて、画像グループ（キャラクタグループ）の中に含まれる何れかの画像データ（キャラクタ）を決定する。

【0082】

ここで、図５を参照して、演奏判定部１０５１により判定された情報と、画像データとの関係について説明する。図５は、ＲＯＭ１０６２のテーブル１０６２２に、記憶されているテーブルの一例を示す図である。

【0083】

図５に示すように、テーブル１０６２２には、例えば音名（ここでは、ド、レ、ミ、ファ、ソ、ラ、シの例）に対応して画像（キャラクタ）が設定された第１画像グループと、第２画像グループと、が記憶されている。画像決定部１０５２は、例えば第１楽器に第１画像グループが割り当てられ、第２楽器に第２画像グループが割り当てられる。また、テーブル１０６２２には、これに限らず、他の音名（例えば、ド♯等）や、コード種別に応じた画像も記憶されていて良い。

【0084】

例えば、画像決定部１０５２は、第１楽器から受信した第１演奏情報に含まれる音名が「ド」であると判定すると、テーブル１０６２２の第１画像グループの「蝶」の画像（キャラクタ）を決定する。また、画像決定部１０５２は、第２楽器から受信した第２演奏情報に含まれる音名が「ミ」であると判定すると、テーブル１０６２２の第２画像グループの「猿」の画像（キャラクタ）を決定する。

【0085】

ここで、図６を参照して、画像（キャラクタ）の表示方法について説明する。図６は、画像（キャラクタ）の表示例について示した図である。

【0086】

図６に示すように、テーブル１０６２２に記憶されている画像（キャラクタ）は、例えば、基本形である。画像決定部１０５２は、演奏情報に含まれるベロシティ値に基づいて、ディスプレイ装置４に表示する画像（キャラクタ）のサイズを決定する。基本形のサイズは高さＨＢ、幅ＷＢと決まっている。そして、例えば、ベロシティ値に基づいて、高さＨＢ、及び幅ＷＢのパーセンテージを変更することで、高さＨＣ、及び幅ＷＣへと変更する。また、画像決定部１０５２は、ランダムに画像（キャラクタ）の基本形をＲ度回転させたり、左右反転させたり、色を変更しても良い。なお、ここでは詳細に記載しないが、画像決定部１０５２は、ここに示さない情報に基づいて、サイズ、回転、反転、または色を適宜変更しても良い。

【0087】

画像決定部１０５２は、リアルタイム画像を表示させる際において、演奏情報（例えばコード進行）に基づいて、ディスプレイ装置４の表示部において画像（キャラクタ）を配置する軌道パターン（第１条件）を決定する。軌道パターン（第１条件）は、例えばＲＯＭ１０６２に記憶されている。

【0088】

ここで、図７を参照して、画像（キャラクタ）を表示する際の軌道パターンの一例について説明する。図７は、ディスプレイ装置４の表示部４０１に表示されるリアルタイム画像における画像（キャラクタ）の軌道パターンの一例について示した図である。図７では、二つの楽器（第１楽器、または第２楽器）に基づくリアルタイム画像を示している。

【0089】

図７に示すように、第１楽器に関する軌道パターンの一例としては、リアルタイム画像の上半分（１ｓｔ（Ｕ）を参照）、且つ矢印Ａ１に沿った仮想の矢印上に画像（キャラクタ）が順に配置される。また、第２楽器に関する軌道パターンの一例としては、リアルタイム画像の下半分（１ｓｔ（Ｌ）を参照）、且つ矢印Ａ２に沿った仮想の矢印上に画像（キャラクタ）が順に配置される。

【0090】

なお、軌道パターンの仮想の矢印（Ａ１、Ａ２）上に各画像（キャラクタ）の少なくとも一部が重なるように、各画像（キャラクタ）が配置される。

【0091】

画像決定部１０５２は、ユーザの演奏後にディスプレイ装置４に表示させるための演奏後画像の軌道パターン（第２条件）を生成する。画像決定部１０５２は、それぞれの演奏情報に対応付けた画像（キャラクタ）を配置する軌道パターン（第２条件）を生成する。画像決定部１０５２は、演奏判定部１０５１が算出した演奏時間に基づいて演奏の軌道パターン（第２条件）の長さを決定する。例えば、演奏時間が第１演奏時間長の場合の軌道パターン（第２条件）の長さである第１長と、演奏時間が第２演奏時間長の場合の軌道パターン（第２条件）の長さである第２長とについて、第１演奏時間長が第２演奏時間長よりも短い場合、第１長は第２長よりも短くなる。

【0092】

図８を参照して、画像決定部１０５２が生成する軌道パターン（第２条件）の一例を説明する。図８は、画像決定部１０５２が生成する軌道パターン（第２条件）の一例である渦巻線を示す図である。

【0093】

画像決定部１０５２は、演奏後画像を生成する際、図８に示すような矢印に沿った仮想の渦巻線上に画像（キャラクタ）が、「演奏の始め」から「演奏の終わり」に向かって順に配置される。特に、第１楽器に関する画像（キャラクタ）は、矢印Ｂ１側に設けられ、第２楽器に関する画像（キャラクタ）は、矢印Ｂ２側に設けられる。

【0094】

なお、例えば、「演奏の始め」の位置と、「演奏の終わり」の位置と、は固定され、演奏の時間が長くなるにつれて、渦巻線状の軌道パターン（第２条件）の長さが伸びる。

【0095】

画像情報出力部１０５３は、画像決定部１０５２が生成した軌道パターン（第２条件）上に、演奏情報について対応付けた画像（キャラクタ）を配置してリアルタイム画像または演奏後画像を生成し、画像を表示するための情報である画像情報を生成する。

【0096】

演奏終了判定部１０５５は、少なくとも演奏情報の入力を或る時間受け付けないこと、及び通信部１０３を介して演奏終了を示す情報を受け付けたこと、のいずれかにより演奏が終了したか否かを判定する。

【0097】

条件判定部１０５４は、通信部１０３を介して取得される演奏データ、または演奏終了判定部１０５５からの情報に基づき、第１条件を満たすか否か、または、第２条件を満たすか否かを判定することができる。そして、条件判定部１０５４は、その旨を、画像決定部１０５２に通知する。なお、この条件は、例えばＲＡＭ１０６１に設定（記憶）されている。

【0098】

画像決定部１０５２は、条件判定部１０５４からの情報に基づいて、リアルタイム画像、または演奏後画像を生成する。

【0099】

そして、上記で説明した各部（操作部１０１、表示部１０２、通信部１０３、音出力部１０４、制御部１０５及び記憶部１０６）は、バス１０７で通信可能に接続されており、各部間で必要なデータのやり取りが行えるようになっている。

【0100】

ユーザが、演奏のために、電子楽器２の鍵１１を押鍵すると、押鍵検出部５０によって鍵１１の押鍵が検出されることになる。

【0101】

そして、鍵１１の押鍵が検出されると、電子楽器２の制御部７０は、その押鍵された鍵１１に対応する演奏情報（例えば、音高情報等（ノートナンバーやベロシティ値等）を含むノートオン）を生成する。そして、電子楽器２の制御部７０は、スピーカ３（または発音部４０）から、その演奏情報に応じた音を発音させる制御を行う。

【0102】

一方、ユーザが、押鍵していた鍵１１を離鍵すると、押鍵検出部５０によって鍵１１の離鍵が検出されることになる。

【0103】

そして、鍵１１の離鍵が検出されると、電子楽器２の制御部７０は、その離鍵された鍵１１に対応する演奏情報（例えば、ノートオフ）を生成する。そして、電子楽器２の制御部７０は、スピーカ３（または発音部４０）から、その演奏情報に応じた音を消音させる制御を行う。

【0104】

そして、この電子楽器２の制御部７０が生成する演奏情報は、電子楽器２の通信部８０から情報処理装置１の通信部１０３に送信される。

【0105】

＜１－１－８＞スピーカ
スピーカ３は、発音部４０は、音を出力する部分である。スピーカ３は、電子楽器２のＨＰジャック４４に接続することにより、ＨＰジャック４４から音の信号を受信し、音の出力を行う。

【0106】

＜１－１－９＞ディスプレイ装置
ディスプレイ装置４は、表示部４０１として液晶モニタを有し、画像を表示できる。ディスプレイ装置４は、情報処理装置１の通信部１０３に有線接続され、情報処理装置１からのデータを受信する。そして、ディスプレイ装置４は、表示部４０１に、データに基づく画像を表示する。

【0107】

＜１－１－１０＞楽器の組み合わせ
図９を用いて、本実施形態における、楽器の組み合わせについて説明する。

【0108】

図９に示すように、楽器の組み合わせとしては、おおよそ８通りの組み合わせが想定される。

【0109】

＜１－１－１０－１＞ケース１
ケース１は、電子楽器２（０）（デジタル単音楽器）のみを、情報処理装置１に接続するケースである。

【0110】

この場合は、例えば電子楽器２を介して情報処理装置１に単音の演奏データが供給される（単音入力）。

【0111】

＜１－１－１０－２＞ケース２
ケース２は、電子楽器２（１）（デジタル和音楽器）のみを、情報処理装置１に接続するケースである。

【0112】

この場合は、例えば電子楽器２を介して情報処理装置１に和音の演奏データが供給される（和音入力）。

【0113】

＜１－１－１０－３＞ケース３
ケース３は、電子楽器２（０）（デジタル単音楽器）及び電子楽器２（１）（デジタル単音楽器）を、情報処理装置１に接続するケースである。

【0114】

この場合は、例えばＭＩＤＩパッチャ５を介して情報処理装置１に単音の演奏データと、和音の演奏データとが供給される。これは、例えば、一人が伴奏を弾き、もう一人がメロディを弾く場合である。

【0115】

＜１－１－１０－４＞ケース４
ケース４は、電子楽器２（１）（デジタル和音楽器）及びボーカルマイク６（ボーカル、またはアコースティック単音楽器）を、情報処理装置１に接続するケースである。

【0116】

この場合は、例えば電子楽器２を介して情報処理装置１に和音の演奏データが供給され、オーディオインタフェース８を介して情報処理装置１に単音の演奏データが供給される。これは、例えば、伴奏に合せて歌う場合である。

【0117】

＜１－１－１０－５＞ケース５
ケース５は、ボーカルマイク６（ボーカル、またはアコースティック単音楽器）を、情報処理装置１に接続するケースである。

【0118】

この場合は、例えばオーディオインタフェース８を介して情報処理装置１に単音の演奏データが供給される。これは、例えば、歌のみの場合である。

【0119】

＜１－１－１０－６＞ケース６
ケース６は、アコースティックピアノ７（アコースティック和音楽器、またはカラオケの伴奏音源）を、情報処理装置１に接続するケースである。

【0120】

この場合は、例えばオーディオインタフェース８を介して情報処理装置１に和音の演奏データが供給される。これは、例えば、アコースティック和音楽器、またはカラオケの伴奏音源のみの場合である。

【0121】

＜１－１－１０－７＞ケース７
ケース７は、ボーカルマイク６（ボーカル、またはアコースティック単音楽器）及びアコースティックピアノ７（アコースティック和音楽器、またはカラオケの伴奏音源）を、情報処理装置１に接続するケースである。

【0122】

この場合は、例えばオーディオインタフェース８を介して情報処理装置１に単音の演奏データと、和音の演奏データが供給される。これは、例えば、アコースティック和音楽器、またはカラオケの伴奏音源に合せて歌う場合である。

【0123】

＜１－１－１０－８＞ケース８
ケース８は、電子楽器２（０）（デジタル単音楽器）及びアコースティックピアノ７（アコースティック和音楽器、またはカラオケの伴奏音源）を、情報処理装置１に接続するケースである。

【0124】

この場合は、例えば電子楽器２を介して情報処理装置１に単音の演奏データが供給され、オーディオインタフェース８を介して情報処理装置１に和音の演奏データが供給される。これは、例えば、カラオケの伴奏音源に合せてメロディを弾く場合である。

【0125】

本実施形態に係る情報処理装置１によれば、上述した全てのケースにおいて、リアルタイム画像及び演奏後画像を生成することが可能である。

【0126】

なお、上述したケースは、一例であり、３つ以上の楽器が情報処理装置１に接続されても良い。

【0127】

＜１－２＞動作
＜１－２－１＞フローチャート
次に、図１０を参照して、情報処理装置１の動作を説明する。図１０は、情報処理装置１の動作を示すフローチャートである。

【0128】

なお、以下の説明では、情報処理装置１の通信部１０３と電子楽器２の通信部８０の間は、接続されているものとする。また、これから説明するように、情報処理装置１の制御部１０５は、画像をディスプレイ装置４に表示させるためのアプリケーションを起動しているものとする。

【0129】

≪Ｓ１００１≫
図１０に示すように、情報処理装置１の制御部１０５（接続機器判定部１０５６）は、情報処理装置１に接続される楽器を確認する。例えば、楽器の情報処理装置１への接続のケースは、図９に示した通りである。そして、情報処理装置１の制御部１０５（画像決定部１０５２）は、情報処理装置１に接続された楽器毎に、異なる画像グループを割り当てる。これにより、情報処理装置１の制御部１０５（画像決定部１０５２）は、リアルタイム画像、及び演奏後画像に関する描画設定を行う。

【0130】

≪Ｓ１００２≫
図１０に示すように、情報処理装置１の制御部１０５は、楽器から送信された演奏情報が情報処理装置１の通信部１０３で受信され、演奏情報の入力が有ったかを判定（ステップＳ１００２）する。情報処理装置１の制御部１０５は、演奏情報の入力がない場合（ステップＳ１００２：ＮＯ）、ステップＳ１００６に進む。

【0131】

≪Ｓ１００３≫
そして、楽器から送信された演奏情報が情報処理装置１の通信部１０３で受信されると（ステップＳ１００２：ＹＥＳ）、情報処理装置１の制御部１０５は、演奏情報の入力を受付ける受付処理を実行し、ステップＳ１００３の演奏判定処理（音楽解析、または音楽解析処理と記載しても良い）を実行する。

【0132】

具体的には、情報処理装置１の制御部１０５（演奏判定部１０５１）は、ステップＳ１００３の演奏判定処理として、受付けた演奏情報に基づき、例えば、曲の調性、音名、コード種別、ベロシティ値、音長、シンコペーション、コード機能、及びコード進行の判定等を行う。

【0133】

ただし、ステップＳ１００３の演奏判定処理として、情報処理装置１の制御部１０５（演奏判定部１０５１）は、曲の調性、音名、コード種別、ベロシティ値、音長、シンコペーション、コード機能、及びコード進行の判定のうちのいずれかを行うものとしてもよい。

【0134】

ステップＳ１００３の演奏判定処理として、具体的に、どのようなものが判定されているのか等の詳細については、次のステップＳ１００４のところで説明する。

【0135】

≪Ｓ１００４≫
情報処理装置１の制御部１０５（画像決定部１０５２）は、ステップＳ１００３の演奏判定処理を終えると、ステップＳ１００４に進み、演奏情報を受付けたタイミングに合せて、演奏情報に応じたリアルタイム画像を生成する。そして、情報処理装置１の制御部１０５（画像情報出力部１０５３）は、ディスプレイ装置４に出力して表示するリアルタイム画像出力処理を実行する。

【0136】

なお、上述した「演奏情報を受付けたタイミングに合せて」とは、時間的に同時を意味するものではなく、演奏情報を受付けるごとに、を意味する点に留意されたい。

【0137】

本実施形態では、情報処理装置１の記憶部１０６に記憶されている基礎となる画像をコンピュータグラフィックス（ＣＧ）で加工してリアルタイム画像を作成してディスプレイ装置４に表示させるようにしているが、ディスプレイ装置４に表示させるリアルタイム画像は、このような手法によるものに限定される必要はなく、演奏情報に応じたリアルタイム画像であればよい。

【0138】

≪Ｓ１００５≫
情報処理装置１の制御部１０５（演奏終了判定部１０５５）は、楽器から送信された演奏情報が情報処理装置１の通信部１０３で受信されない場合（ステップＳ１００２：ＮＯ）、または演奏データが設定された条件を満たさないと判定する場合（Ｓ１００４：ＮＯ）、またはステップＳ１００４の後、演奏終了判定処理を行う。具体的には、情報処理装置１の制御部１０５は、演奏情報の入力無しで所定の時間経過するか否かを判定する。情報処理装置１の制御部１０５は、演奏情報の入力無しで所定の時間経過していない場合（ステップＳ１００５：ＮＯ）、再び、ステップＳ１００２に進み、演奏情報の入力が有ったか否かを判定する。

【0139】

≪Ｓ１００６≫
情報処理装置１の制御部１０５（演奏終了判定部１０５５）は、演奏情報の入力無しで所定の時間経過した場合（ステップＳ１００５：ＹＥＳ）、つまり、演奏情報の受付が所定の時間検出されない場合、演奏が終了したものと判定する。情報処理装置１の制御部１０５（画像決定部１０５２、及び画像情報出力部１０５３）は、演奏が終了したものと判定する場合、ステップＳ１００６に進んで、演奏後画像をディスプレイ装置４に出力して表示する演奏後画像出力処理を行い、全体の処理を終了する。

【0140】

また、伴奏データを自動再生し、メロディを演奏者に指定させる場合に本実施形態を適用した場合には、伴奏データの自動再生が終了した時点で演奏が終了したものと判定して演奏後画像出力処理を行ってもよい。すなわち、情報処理装置１の制御部１０５が、演奏者による演奏終了を判定する理由はどのような理由であってもよく、情報処理装置１の制御部１０５が、演奏者による演奏終了を判定した時点で、演奏後画像出力処理が実行されればよい。

【0141】

一方、情報処理装置１の制御部１０５は、演奏情報の入力無しで所定の時間経過していない場合（ステップＳ１００５：ＮＯ）、再び、ステップＳ１００２に進み、演奏情報の入力が有ったか否かを判定する。

【0142】

＜１－２－２＞具体例
次に、情報処理装置１の動作の具体例を説明する。

【0143】

具体例では、例えば、二人のユーザが「故郷（ふるさと）」を弾く場合において、二人のユーザに画像グループが割り当てられる場合について説明する。

【0144】

＜１－２－２－１＞リアルタイム画像の描画例
続いて、図１１を用いて、二人のユーザが「故郷（ふるさと）」を弾くことにより、異なる画像グループが描画される様子を説明する。図１１は、第１ユーザ及び第２ユーザがメロディを弾いている場合における、リアルタイム画像を示している。

【0145】

図１１に示すように、第１ユーザが電子楽器２（０）にてメロディを弾く場合、情報処理装置１の制御部１０５は、リアルタイム画像として、第１画像グループに含まれる画像（虫のキャラクタ）をディスプレイ装置４に表示させる。この際、例えば、リアルタイム画像の上半分（１ｓｔ（Ｕ）を参照）の矢印Ａ１に沿って画像（虫のキャラクタ）が表示される（図中のＣ１、及びＤ１～Ｄ６参照）。

【0146】

また、図１１に示すように、第２ユーザが電子楽器２（１）にて伴奏を弾く場合、情報処理装置１の制御部１０５は、リアルタイム画像として、第２画像グループに含まれる画像（動物のキャラクタ）をディスプレイ装置４に表示させる。この際、例えば、リアルタイム画像の下半分（１ｓｔ（Ｌ）を参照）の矢印Ａ２に沿って画像（動物のキャラクタ）が表示される（図中のＣ２、及びＥ１～Ｅ６参照）。

【0147】

＜１－２－２－５＞演奏後画像の描画例
続いて、図１２を用いて、二人のユーザが「故郷」の演奏を終了した後の演奏後画像について説明する。図１２は、二人のユーザが曲の演奏を終了した後の演奏後画像を示している。

【0148】

情報処理装置１の制御部１０５は、二人のユーザが演奏を終了したと判定すると、演奏後画像をディスプレイ装置４に表示させる。

【0149】

図１２に示すように、情報処理装置１の制御部１０５は、第１ユーザの演奏に対応する個所には第１グループの画像（虫のキャラクタ）を配置（Ｃ１参照）し、第２ユーザの演奏に対応する個所には第２グループの画像（動物のキャラクタ）を配置（Ｃ２参照）する。

【0150】

これにより、上述した効果と同様の効果を得ることができる。

【0151】

＜１－３＞効果
上述した実施形態によれば、ユーザの演奏（音楽）に合わせて画像を描く演奏データ表示システムにおいて、複数の演奏が入力された際に、ユーザ毎に異なる表現を出力する。

【0152】

例えば、ユーザの演奏（音楽）に合わせて画像を描く演奏データ表示システムは、ユーザの電子楽器の練習意欲を掻き立てることができる。しかし、複数のユーザにて演奏する場合において、ユーザ毎に画像を変更しないと、一人の演奏の音数が増えたものと同じ表現しか出来ない。この場合、画像と、各演奏との対応関係が不明瞭となる。

【0153】

しかし、上述した実施形態によれば、複数のユーザにそれぞれ描画表現をわりあてることができる。その結果、ユーザの演奏と、画像との関係が明確になり、より楽しさを提供できる。その結果、ユーザの電子楽器の練習意欲を更に掻き立てることができる。

【0154】

また、上述した実施形態では、オーディオインタフェースを用い、且つ、情報処理装置１にて音楽解析を行うことで、生音であっても画像に変換することができる。

【0155】

＜２＞変形例
なお、上述した実施形態において、情報処理装置１の制御部１０５は、図１０のステップＳ１００１における描画設定変更の際、画像グループの切り替えを行っている。しかし、これに限らず、例えば、「画像（キャラクタ）の表示位置」、「明るさの変更」、「画像（キャラクタ）のサイズの変更」、「背景色（リアルタイム画像、または演奏後画像の背景の色）や、画像（キャラクタ）の色テーブルの変更」、「特定の条件を満たす際に表示される画像（ボーナスキャラクタ）の種類の変更」、または「画像（キャラクタ）の動きを変更」等でも良い。なお、背景色（リアルタイム画像、または演奏後画像の背景の色）や、画像（キャラクタ）の色テーブルは、例えばＲＯＭ１０６２に記憶されている。また、特定の条件を満たす際に表示される画像（ボーナスキャラクタ）とは、例えば情報処理装置１の制御部１０５がユーザの演奏のリズムなどが安定していると判定する場合に、リアルタイム画像に表示される画像である。また、画像（キャラクタ）はアニメーション等で動いても良い。また、複数の画像グループにおいて、同じ画像（キャラクタ）を含んでいても良い。また、楽器が「ボーカル」の場合、「ボーカル」が目立つように大きく、リアルタイム画像や演奏後画像の中心に表示しても良い。また、低音楽器は丸く、高音楽器はトゲトゲしく表現しても構わない。

【0156】

また、上述した実施形態では、二つの楽器に関する画像を描画する例について示したが、これに限らない。例えば、図１３に示すように、４つの楽器（ピアノ、ベースギター、エレキギター、電子楽器等）を情報処理装置１に接続しても良い。更に、図１３に示すように、例えばリアルタイム画像または演奏後画像を４分割し、それぞれに楽器を割り当てても良い。これにより、誰がどの画像（キャラクタ）を描いているのかは、4分割させた画面の場所でわかる。

【0157】

また、図１４に示すように、リアルタイム画像または演奏後画像を明確に分割せず、１枚の画像として描画しても良い。しかし、楽器毎に、画像（キャラクタ）を変えているので、誰がどの画像（キャラクタ）を描いているのかが判定できる。

【0158】

また、複数のユーザの演奏が所定の条件（例えば、タイミングの一致）を満たす場合、リボン等の特殊な画像（キャラクタ）がリアルタイム画像、または演奏後画像に描画されても良い。

【0159】

以下に、簡単にその特殊な画像（キャラクタ）の描画に関するフローチャートを説明する。

【0160】

図１５に示すステップＳ２００１～Ｓ２００４、Ｓ２００７、及びＳ２００８については、図１０のステップＳ１００１～Ｓ１００６と同様である。そこで、ステップＳ２００５と、Ｓ２００６について説明する。

【0161】

≪Ｓ２００５≫
情報処理装置１の制御部１０５（条件判定部１０５４）は、演奏データが、設定された条件を満たすか否かを判定する。この設定された条件を満たすか否かを判定する例としては、複数のユーザの演奏のタイミングが一致したか否かを判定しても良い。

【0162】

≪Ｓ２００６≫
情報処理装置１の制御部１０５（画像決定部１０５２、及び画像情報出力部１０５３）は、演奏データが、設定された条件を満たすと判定する場合（Ｓ２００５：ＹＥＳ）、リアルタイム画像（及び演奏後画像）の描画設定を変更する。具体的には、情報処理装置１の制御部１０５（画像決定部１０５２、及び画像情報出力部１０５３）は、設定された条件を満たすと判定された演奏データの後に、専用の画像（キャラクタ）を表示させる。具体的には、図１６に示すように、リボンの画像（キャラクタ）を描画する。

【0163】

また、情報処理装置１の制御部１０５は、「和音」「単音」の判定を、手動（例えばＭＩＤＩのチャンネルの選択）で行われても良いし、自動認識で行っても良い。

【0164】

また、情報処理装置１の制御部１０５は、ピッチ抽出や多重音解析の結果をＭＩＤＩ形式に変換しているが、特にＭＩＤＩの形式にしなくても良い。

【0165】

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【0166】

なお、上記実施形態は、以下の付記を含むものである。

【0167】

≪付記１≫
情報処理装置のコンピュータに、
入力された演奏データが、少なくとも第１機器（例えば第１電子楽器）及び第２機器（例えば第２電子楽器又は、オーディオインタフェース）のいずれから入力された演奏データであるかを判定させ、
前記第１機器と判定された場合に、入力された演奏データに基づいて判定できる情報（例えば音名、コード種別。演奏データには音名情報やコード種別情報は含まれておらず、演奏データに含まれるノートナンバー情報から音名情報やコード種別情報が判定できる）に応じて、第１画像データを表示させ、
前記第２機器と判定された場合に、入力された演奏データに基づいて判定できる情報（例えば音名、コード種別）が、たとえ前記第１機器と判定された場合と同じであったとしても、前記第１画像データとは異なる態様の第２画像データを表示させる、
プログラム。

【0168】

≪付記２≫
前記いずれから入力された演奏データであるかは、入力された演奏データに含まれる情報（例えばMIDIのチャンネル情報）から判定させる、
付記１に記載のプログラム。

【0169】

≪付記３≫
前記第１画像データは、第１画像グループのなかに含まれ、
前記第２画像データは、第２画像グループのなかに含まれ、
前記第１画像グループ及び前記第２画像グループのなかには、同じ画像データが含まれていてもよい、
付記１または２に記載のプログラム。

【0170】

≪付記４≫
前記判定できる情報は、少なくとも音名情報（例えば演奏データには音名情報は含まれておらず、演奏データに含まれるノートナンバー情報から音名情報が判定できる）及び、コード種別情報（例えば音名情報と同様）のいずれかを含む、
付記１乃至３のいずれか一項に記載のプログラム。

【0171】

≪付記５≫
前記第１機器は、第１電子楽器及びオーディオインタフェースのいずれかを含み、
前記第２機器は、第２電子楽器及びオーディオインタフェースのいずれかを含む、
付記１乃至４のいずれか一項に記載のプログラム。

【0172】

≪付記６≫
情報処理装置のコンピュータに、
入力された演奏データが、少なくとも第１機器（例えば第１電子楽器）及び第２機器（例えば第２電子楽器又は、オーディオインタフェース）のいずれから入力された演奏データであるかを判定させ、
前記第１機器と判定された場合に、入力された演奏データに基づいて判定できる情報（例えば音名、コード種別。演奏データには音名情報やコード種別情報は含まれておらず、演奏データに含まれるノートナンバー情報から音名情報やコード種別情報が判定できる）に応じて、第１画像データを表示させ、
前記第２機器と判定された場合に、入力された演奏データに基づいて判定できる情報（例えば音名、コード種別）が、たとえ前記第１機器と判定された場合と同じであったとしても、前記第１画像データとは異なる態様の第２画像データを表示させる、
方法。

【0173】

≪付記７≫
ディスプレイ装置と、
プロセッサと、を含み、前記プロセッサが、
入力された演奏データが、少なくとも第１機器（例えば第１電子楽器）及び第２機器（例えば２電子楽器又は、オーディオインタフェース）のいずれから入力された演奏データであるかを判定し、
前記第１機器と判定された場合に、入力された演奏データに基づいて判定できる情報（例えば音名、コード種別。演奏データには音名情報やコード種別情報は含まれておらず、演奏データに含まれるノートナンバー情報から音名情報やコード種別情報が判定できる）に応じて、第１画像データの前記ディスプレイ装置への表示を指示し、
前記第２機器と判定された場合に、入力された演奏データに基づいて判定できる情報（例えば音名、コード種別）が、たとえ前記第１機器と判定された場合と同じであったとしても、前記第１画像データとは異なる態様の第２画像データの前記ディスプレイ装置への表示を指示する、
電子機器。

【0174】

≪付記８≫
第１機器と、第２機器と、ディスプレイ装置と、を備え、
前記第１機器は、
第１ユーザによる演奏操作に応じて前記第１機器を識別可能な第１識別子（例えばＭＩＤＩの第１チャンネル番号）を含む第１演奏データを生成するとともに、生成された前記第１演奏データを前記ディスプレイ装置に出力し、
前記第２機器は、
第２ユーザによる演奏操作に応じて前記第２機器を識別可能な第２識別子を含む第２演奏データを生成するとともに、生成された前記第２演奏データを前記ディスプレイ装置に出力し、
前記ディスプレイ装置は、
入力される前記第１演奏データに基づいて判定できる情報（例えば音名、コード種別）に応じて、第１画像データを表示し、
入力される前記第２演奏データに基づいて判定できる情報（例えば音名、コード種別）が、たとえ前記第１演奏データに基づいて判定できる情報と同じであったとしても、前記第１画像データとは異なる態様の第２画像データを表示する、
演奏データ表示システム。

【符号の説明】

【0175】

１…情報処理装置
２…電子楽器
３…スピーカ
４…ディスプレイ装置
５…ＭＩＤＩパッチャ
６…ボーカルマイク
７…アコースティックピアノ
８…オーディオインタフェース
１１…鍵
２０…表示部
３０…操作部
４０…発音部
４１…ＳＰアンプ
４２…スピーカ
４３…ＨＰアンプ
４４…ＨＰジャック
４５…ＨＰジャック挿入検出部
５０…押鍵検出部
６０…記憶部
６１…ＲＯＭ
６２…ＲＡＭ
７０…制御部
８０…通信部
１００…バス
１０１…操作部
１０２…表示部
１０３…通信部
１０４…音出力部
１０５…制御部
１０６…記憶部
１０７…バス
４０１…表示部
１０５１…演奏判定部
１０５２…画像決定部
１０５３…画像情報出力部
１０５４…条件判定部
１０５５…演奏終了判定部
１０５６…接続機器判定部
１０６１…ＲＡＭ
１０６２…ＲＯＭ
１０６２１…プログラム
１０６２２…テーブル

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】