特許 7420181 プログラム、方法、電子機器、および演奏データ表示システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-01-15

(45)【発行日】2024-01-23

(54)【発明の名称】プログラム、方法、電子機器、および演奏データ表示システム

(51)【国際特許分類】

   G10G 1/00 20060101AFI20240116BHJP

   G10H 1/38 20060101ALI20240116BHJP

【ＦＩ】

G10G1/00

G10H1/38 Z

【請求項の数】 8

(21)【出願番号】P 2022141104

(22)【出願日】2022-09-06

(62)【分割の表示】P 2019231895の分割

【原出願日】2019-12-23

(65)【公開番号】P2022164934

(43)【公開日】2022-10-27

【審査請求日】2022-09-20

(73)【特許権者】

【識別番号】000001443

【氏名又は名称】カシオ計算機株式会社

(72)【発明者】

【氏名】加福 滋

(72)【発明者】

【氏名】奥田 広子

【審査官】中村 天真

(56)【参考文献】

【文献】特開２０１９－１０１１６８（ＪＰ，Ａ）

【文献】特開２００８－３０４９３７（ＪＰ，Ａ）

【文献】特開２００７－０２５４１１（ＪＰ，Ａ）

【文献】米国特許第０７１１９２６６（ＵＳ，Ｂ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６３Ｆ １３／００－１３／９８

Ｇ０９Ｂ １１／００－１５／０８

Ｇ１０Ｇ １／００－ ３／０４

Ｇ１０Ｈ １／００－ １／４６

(57)【特許請求の範囲】

【請求項1】

情報処理装置に、
入力された第１演奏データに基づいて、第１色を含む第１画像を生成させ、
前記第１演奏データに対応する調性が移調された第２演奏データを生成させ、
前記第２演奏データに基づいて、前記第１色とは異なる第２色を含む第２画像を生成させる、
プログラム。

【請求項2】

前記第１画像及び前記第２画像を表示装置に表示させ、
前記第１画像の指定に応じて、前記第１演奏データに基づく発音を指示させ、
前記第２画像の指定に応じて、前記第２演奏データに基づく発音を指示させる、
請求項１に記載のプログラム。

【請求項3】

前記第１色は、前記第１画像の背景色に含み、
前記第２色は、前記第２画像の背景色に含む、
請求項１又は２に記載のプログラム。

【請求項4】

情報処理装置に、
入力された第１演奏データに基づいて、第１色を含む第１画像を生成させ、
前記第１演奏データに対応する調性が移調された第２演奏データを生成させ、
前記第２演奏データに基づいて、前記第１色とは異なる第２色を含む第２画像を生成させる、
方法。

【請求項5】

前記第１画像及び前記第２画像を表示装置に表示させ、
前記第１画像の指定に応じて、前記第１演奏データに基づく発音を指示させ、
前記第２画像の指定に応じて、前記第２演奏データに基づく発音を指示させる、
請求項４に記載の方法。

【請求項6】

前記第１色は、前記第１画像の背景色に含み、
前記第２色は、前記第２画像の背景色に含む、
請求項４又は５に記載の方法。

【請求項7】

表示装置と、
プロセッサと、を含み前記プロセッサが、
入力された第１演奏データに基づいて、第１色を含む第１画像を生成し、
前記第１演奏データに対応する調性が移調された第２演奏データを生成し、
前記第２演奏データに基づいて、前記第１色とは異なる第２色を含む第２画像を生成する、
電子機器。

【請求項8】

電子楽器と、情報処理装置と、を備え、
前記電子楽器は、
ユーザによる演奏操作に応じて演奏データを生成するとともに、生成された前記演奏データを前記情報処理装置に出力し、
前記情報処理装置は、
入力された第１演奏データに基づいて、第１色を含む第１画像を生成し、
前記第１演奏データに対応する調性が移調された第２演奏データを生成し、
前記第２演奏データに基づいて、前記第１色とは異なる第２色を含む第２画像を生成する、
演奏データ表示システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、プログラム、方法、電子機器、および演奏データ表示システムに関する。

【背景技術】

【0002】

デジタルキーボードをはじめとする電子楽器は、プロセッサおよびメモリを備え、いわば鍵盤付きの組込みコンピュータといえる。ＵＳＢ（Universal Serial Bus）等のインタフェースでタブレット等の情報処理装置に接続し、多様な拡張機能を利用できる機種も知られている。例えば、電子楽器を演奏して発生するＭＩＤＩ（Musical Instrument Digital Interface）データを解析し、演奏とともに変化する動画像や、演奏の内容を反映する静止画像（絵）を作成して表示する技術が、開発の途上にある（例えば、特許文献１を参照）。

【0003】

楽器演奏は練習が大変で、途中で飽きてしまって断念する人も多い。自分の演奏を録音し、どの部分が弾けなかったかを確認するというのはある程度弾けるようになってからの話であって、その前にあきらめてしまう人が多い。このような人達にも練習の意欲を高めてもらうために、視覚的な効果を利用する技術に注目が集まっている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１９－１０１１６８号公報

【非特許文献】

【0005】

【文献】“Music Tapestry”，［online］，［令和1年11月20日検索］,インターネット，＜URL:https://news.mynavi.jp/article/20190724-casio_music_tapestry/＞

【発明の概要】

【発明が解決しようとする課題】

【0006】

演奏により絵を作成する技術では、演奏中の曲の調（Ｋｅｙ）に合わせて選択された色の背景に、音符に対応するキャラクターを並べて一枚の絵とするのが基本である。背景色は、例えばスクリャービンで知られる音と色との共感覚の関係を応用して、ハ長調は赤色、ト長調は青色というように、音楽解析による調の判定結果に対応付けて決められる。

【0007】

しかしながら、ユーザ（演奏者など）が、出来上がった絵に必ずしも満足するとは限らない。絵の色調は、理屈の上では調に合ったものであるとはいえ、その色を演奏者が好きとは限らないからである。既存の技術では、できあがった絵の背景色を変更できないことから、演奏者の興味がダウンしてしまうこともあった。

【0008】

本発明はこのような事実に鑑みなされたもので、その目的は、演奏により作成された絵の色合いを変更できるようにし、これによりユーザの興味を喚起し得るプログラム、方法、電子機器、および演奏データ表示システムを提供することにある。

【課題を解決するための手段】

【0009】

上記目的を達成するために、本発明の一実施形態であるプログラムは、情報処理装置に、入力された第１演奏データに基づいて、第１色を含む第１画像を生成させ、前記第１演奏データに対応する調性を移調して、第２演奏データを生成させ、前記第２演奏データに基づいて、前記第１色とは異なる第２色を含む第２画像を生成させる。

【発明の効果】

【0010】

本発明によれば、例えば、演奏により作成された絵の色合いを変更でき、ユーザの興味を喚起し得るプログラムを提供することができる。

【図面の簡単な説明】

【0011】

【図1】図１は、第１実施形態に係わる情報処理装置ＴＢがデジタルキーボード１に接続された状態を示す図である。

【図2】図２は、実施形態に係るデジタルキーボード１の一例を示すブロック図である。

【図3】図３は、情報処理装置ＴＢの一例を示す機能ブロック図である。

【図4】図４は、情報処理装置ＴＢの処理手順の一例を示すフローチャートである。

【図5】図５は、静止画像の一例を示す図である。

【図6】図６は、静止画像に表示される印刷アイコンの例を示す図である。

【図7】図７は、フレーム画像の一例を示す図である。

【図8A】図８Ａは、再生／編集／印刷／設定モードにおける処理手順の一例を示すフローチャートである。

【図8B】図８Ｂは、再生／編集／印刷／設定モードにおける処理手順の一例を示すフローチャートである。

【図9】図９は、”＜”、または”＞”マークがタップされたときの表示部５２における画面遷移の一例を示す図である。

【図10】図１０は、”∧”マークがタップされたときに表示される設定画面の一例を示す図である。

【図11】図１１は、”Ｖ”マークがタップされたときに表示されるトランスポーズ設定画面の一例を示す図である。

【図12】図１２は、第１画像のサムネイル画像の一例を示す図である。

【図13】図１３は、フレーム画像のサムネイル画像の一例を示す図である。

【図14】図１４は、静止画像に表示される印刷アイコンの例を示す図である。

【図15】図１５は、印刷設定画面の一例を示す図である。

【図16】図１６は、印刷設定画面の一例を示す図である。

【発明を実施するための形態】

【0012】

以下、添付図面を参照して、本発明に係る第１実施形態の情報処理装置ＴＢについて説明する。
＜構成＞
図１は、第１実施形態の情報処理装置ＴＢがデジタルキーボード１に接続された状態を示す図である。デジタルキーボード１は、例えば、電子ピアノ、シンセサイザー、あるいは電子オルガン等の電子鍵盤楽器である。図１に示すように、デジタルキーボード１は、複数の鍵１０と、表示部２０と、操作部３０と、譜面台ＭＳとを備える。図１に示されるように、デジタルキーボード１に接続された情報処理装置ＴＢを、譜面台ＭＳに載置することができる。

【0013】

鍵１０は、演奏者が音高を指定する操作子であり、演奏者が鍵１０を押鍵及び離鍵することで、デジタルキーボード１は、指定された音高に対応する音の発音及び消音を行う。

【0014】

表示部２０は、例えば、タッチパネル付きの液晶モニタ（Liquid Crystal Display：ＬＣＤ）を有し、演奏者の操作部３０の操作に伴うメッセージの表示等を行う。なお、本実施形態では、表示部２０がタッチパネル機能を有しているため、表示部２０は、操作部３０の一端を担うことができるようになっている。

【0015】

操作部３０は、演奏者が各種の設定等を行う操作ボタンを有し、音量調整等の各種の設定操作等を行うための部分である。
発音部４０は、音を出力する部分であり、スピーカ４２やヘッドフォンアウト等の出力部を有する。
図２は、実施形態に係るデジタルキーボード１の一例を示すブロック図である。デジタルキーボード１は、ＵＳＢインタフェース（Ｉ／Ｆ）２１６、ＲＡＭ（Random Access Memory）２０３、ＲＯＭ（Read Only Memory）２０２、表示部２０、ＬＣＤコントローラ２０８、ＬＥＤ（Light Emitthing Diode）コントローラ２０７、鍵盤１０１、操作部３０、キースキャナ２０６、ＭＩＤＩインタフェース（Ｉ／Ｆ）２１５、システムバス２０９、ＣＰＵ（Central Processing Unit）２０１、タイマ２１０、音源２０４、デジタル／アナログ（Ｄ／Ａ）コンバータ２１１、ミキサ２１３、Ｄ／Ａコンバータ２１２、音声合成ＬＳＩ２０５、および、アンプ２１４を備える。音源２０４、音声合成ＬＳＩ２０５は、例えばＤＳＰ（Digital Signal Processor）として実現される。

【0016】

ＣＰＵ２０１、音源２０４、音声合成ＬＳＩ２０５、ＵＳＢインタフェース２１６、ＲＡＭ２０３、ＲＯＭ２０２、ＬＣＤコントローラ２０８、ＬＥＤコントローラ２０７、キースキャナ２０６、およびＭＩＤＩインタフェース２１５は、システムバス２０９に接続される。

【0017】

ＣＰＵ２０１は、デジタルキーボード１を制御するプロセッサである。すなわちＣＰＵ２０１は、ＲＯＭ２０２に記憶されたプログラムを、ワーキングメモリとしてのＲＡＭ２０３に読み出し、実行して、デジタルキーボード１の各種の機能を実現する。ＣＰＵ２０１は、タイマ２１０から供給されるクロックに従って動作する。クロックは、例えば自動演奏、自動伴奏のシーケンスを制御するために用いられる。

【0018】

ＲＯＭ２０２は、プログラム、各種設定データ、自動伴奏データ等を記憶する。自動伴奏データは、予めプリセットされたリズムパターン、コード進行、ベースパターン、あるいはオブリガード等のメロディデータ等を含んでよい。メロディデータは、各音の音高情報、各音の発音タイミング情報等を含んでよい。

【0019】

各音の発音タイミングは、各発音間の間隔時間でもよく、自動演奏曲の開始時からの経過時間であっても良い。時間の単位にはｔｉｃｋが用いられることが多い。ｔｉｃｋは、一般的なシーケンサで用いられる、曲のテンポを基準とする単位である。例えば、シーケンサの分解能が４８０であれば、４分音符の時間の１／４８０が１ｔｉｃｋとなる。

【0020】

自動伴奏データは、ＲＯＭ２０２に限らず、図示しない情報記憶装置や情報記憶媒体に記憶されていても良い。自動伴奏データのフォーマットは、ＭＩＤＩ用のファイルフォーマットに準拠してもよい。

【0021】

音源２０４は、例えばＧＭ（General MIDI）規格に準拠する、いわゆるＧＭ音源である。この種の音源は、ＭＩＤＩメッセージとしてのプログラムチェンジを与えれば音色を変更できるし、コントロールチェンジを与えれば既定のエフェクトを制御することができる。

【0022】

音源２０４は、例えば同時に最大２５６ボイスを発音する能力を有する。音源２０４は、例えば波形ＲＯＭ（図示せず）から楽音波形データを読み出し、デジタル楽音波形データとしてＤ／Ａコンバータ２１１に出力される。Ｄ／Ａコンバータ２１１は、デジタル楽音波形データをアナログ楽音波形信号に変換する。

【0023】

音声合成ＬＳＩ２０５は、ＣＰＵ２０１から、歌詞のテキストデータと音高に関する情報を歌声データとして与えられると、それに対応する歌声の音声データを合成し、Ｄ／Ａコンバータ２１２に出力する。Ｄ／Ａコンバータ２１２は、音声データをアナログ音声波形信号に変換する。

【0024】

ミキサ２１３は、アナログ楽音波形信号、およびアナログ音声波形信号をミックスし、出力信号を生成する。この出力信号はアンプ２１４で増幅され、スピーカ４２、あるいはヘッドフォンアウトなどの出力端子から出力される。

【0025】

キースキャナ２０６は、鍵盤１０１の押鍵／離鍵状態、操作部３０のスイッチ操作状態を定常的に監視する。そして、キースキャナ２０６は、鍵盤１０１、操作部３０の状態をＣＰＵ２０１に伝える。

【0026】

ＬＥＤコントローラ２０７は、例えばＩＣ（Integated Circuit）である。ＬＥＤコントローラ２０７は、ＣＰＵ２０１からの指示により鍵盤１０１の鍵を光らせて、演奏者の演奏をナビゲートする。ＬＣＤコントローラ２０８は、表示部２０の表示状態を制御するＩＣである。

【0027】

ＭＩＤＩインタフェース２１５は、ＭＩＤＩ装置４等の外部装置からのＭＩＤＩメッセージ（演奏データ等）を入力したり、ＭＩＤＩメッセージを外部装置に出力したりする。デジタルキーボード１は、例えばＵＳＢ（Universal Serial Bus）等のインタフェースを用いて、外部装置とＭＩＤＩメッセージやＭＩＤＩデータファイルを授受することが可能である。受信されたＭＩＤＩメッセージは、ＣＰＵ２０１経由で音源２０４に渡される。音源２０４は、ＭＩＤＩメッセージで指定された音色、音量、タイミング等に従って音を鳴らす。

【0028】

情報処理装置ＴＢが、ＵＳＢインタフェース２１６経由でシステムバス２０９に接続される。情報処理装置ＴＢは、デジタルキーボード１が演奏されることで発生したＭＩＤＩデータ（演奏データ）を、ＵＳＢインタフェース２１６経由で取得することができる。
さらに、図示しない記憶メディア等も、ＵＳＢインタフェース２１６経由でシステムバス２０９に接続されても良い。記憶装置３としては、例えば、ＵＳＢメモリ、フレキシブルディスクドライブ（ＦＤＤ）、ハードディスクドライブ（ＨＤＤ）、ＣＤ－ＲＯＭドライブ及び光磁気ディスク（ＭＯ）ドライブ等が挙げられる。ＲＯＭ１０６にプログラムが記憶されていない場合には、記憶メディアにプログラムを記憶させておき、それをＲＡＭ１０５に読み込むことにより、ＲＯＭ１０６にプログラムを記憶している場合と同様の動作をＣＰＵ１１１に実行させることができる。

【0029】

図３は、情報処理装置ＴＢの一例を示す機能ブロック図である。実施形態の情報処理装置ＴＢは、例えばタブレット型の情報端末であり、後述するような画像を表示部５２に表示させるためのアプリケーションがインストールされている。なお、情報処理装置ＴＢは、タブレット型の携帯端末に限定される必要はなく、ノートパソコンＰＣ等であってもよい。また、情報処理装置ＴＢは、デジタルキーボード１からＭＩＤＩデータを受信して曲データを再生させるシーケンサ等を備えていてもよい。

【0030】

情報処理装置ＴＢは、主に、操作部５１と、表示部５２と、通信部５３と、音出力部５４と、制御部５６（ＣＰＵ）と、メモリ５５と、を備える。各部（操作部５１、表示部５２、通信部５３、音出力部５４、制御部５６及びメモリ５５）は、バス５７で通信可能に接続されており、各部間で必要なデータのやり取りが行えるようになっている。

【0031】

操作部５１は、例えば、電源のＯＮ／ＯＦＦを行うための電源スイッチ等のスイッチ類を含む。表示部５２は、タッチパネル付きの液晶モニタを有し、画像を表示する。表示部５２はタッチパネル機能も有するので、操作部５１の一端を担うことができる。

【0032】

通信部５３は、他の機器等との間で通信を行うための無線ユニットや有線ユニットを備える。実施形態では、例えばＵＳＢケーブル等を介してデジタルキーボード１に有線接続され、これにより情報処理装置ＴＢは、デジタルキーボード１との間で各種のディジタルデータを授受することができる。

【0033】

音出力部５４は、スピーカーやイヤホンジャック等を備え、アナログの音声や楽音を再生出力したり、オーディオ信号を出力する。

【0034】

制御部５６は、ＣＰＵ等のプロセッサを備え、情報処理装置ＴＢの制御を司る。制御部５６のＣＰＵは、メモリ５５に記憶されている制御プログラムやインストールされたアプリケーションに従って、各種の処理等を実行する。

【0035】

メモリ５５は、ＲＯＭ６０およびＲＡＭ８０を備える。
ＲＯＭ６０は、例えば、制御部５６が実行するプログラム７０や各種データテーブル等を記憶している。

【0036】

ＲＡＭ８０は、プログラム７０を動作させる上で必要なデータを記憶する。またＲＡＭ８０は、制御部５６が作成するデータ、デジタルキーボード１から送られたＭＩＤＩデータ、及び、アプリケーションを展開させるための一時記憶領域等としても機能する。実施形態においては、ＲＡＭ８０は、ＭＩＤＩデータとしての演奏データ８０ａに加えて、この演奏データ８０ａに由来する第１画像データ８０ｂ、および、第２画像データ８０ｃを記憶する。

【0037】

ところで、実施形態において、プログラム７０は、音楽解析ルーチン７０ａ、第１画像作成ルーチン７０ｂ、第２画像作成ルーチン７０ｃ、および、出力制御ルーチン７０ｄを備える。

【0038】

音楽解析ルーチン７０ａは、入力された演奏データ８０ａに基づいて、複数の種別を含む属性についていずれか１つの種別を、制御部５６に決定させる。すなわち音楽解析ルーチン７０ａは、演奏データ８０ａを音楽解析し、演奏データ８０ａに基づいて曲の調を決定する。

【0039】

ここで、調性（Ｔｏｎａｌｉｔｙ）、および調（Ｋｅｙ）について以下のように区別する。調性とは、曲の属性の一つとして理解することができ、複数の調を含む。調とは、ハ長調（Ｃ）、ニ短調（Ｄｍ）、変ロ長調（Ｂ♭）、…などの、いわゆる曲のキーである。調は、調性に含まれる複数の種別として捉えられる。
属性としては、調性のほかに、例えばリズム、テンポ、形式（ロンド、ソナタなど）等を挙げることができる。

【0040】

なお、調性やコード種別等を判定するための手法は、特に限定されるものではないが、例えば、特許第３２１１８３９号明細書等に開示された手法を用いることができる。

【0041】

第１画像作成ルーチン７０ｂは、演奏データ８０ａに応じた画像であって、上記決定された調に応じた色を例えば背景色として含む第１画像を、制御部５６に生成させる。実施形態における第１画像は、演奏終了後に生成される、当該演奏された曲の調にマッチした背景色の静止画像である。生成された第１画像データはＲＡＭ８０に記憶される（第１画像データ８０ｂ）。
なお、特許文献１に開示される『第１画像』は、演奏中にリアルタイム表示される動画像、またはその１フレーム（最終フレームなど）の画像に対応し、本実施形態における［第１画像］とは異なる。また、特許文献１に開示される『第２画像』は演奏終了後に生成される静止画像に対応し、本実施形態の［第１画像］に相当する。

【0042】

本実施形態における［第２画像］は、音楽解析ルーチン７０ａにより決定された調とは異なる調に応じた色を例えば背景色として含む画像である。つまり［第２画像］は、［第１画像］とは異なる背景色を持つ、１１個の画像群である。

【0043】

第２画像作成ルーチン７０ｃは、演奏データ８０ａを移調（トランスポーズ）して新たな演奏データを作成し、この新たな演奏データを音楽解析した結果に基づく第２画像を、制御部５６に生成させる。つまり第２画像作成ルーチン７０ｃは、実際に演奏された調とは異なる調に対応する背景色の第２画像を生成する。

【0044】

［第２画像］も、演奏終了後の静止画像である点では［第１画像］と同様である。ただし、第２画像の背景色は演奏された曲の調とはマッチしていなく、他の調の背景にマッチした色である。すなわち第２画像は、第１画像の由来となった演奏データをトランスポーズして得られる１１個の調のそれぞれに対応する演奏データに基づいて作成された、画像データである。生成された第２画像データはＲＡＭ８０に記憶される（第２画像データ８０ｃ）。

【0045】

第１画像データ８０ｂ、第２画像データ８０ｃのいずれも、演奏データ８０ａに基づいて、例えば特許文献１に開示される技術を利用して作成することができる。ちなみに、１２音平均律のもとでは長調、短調のいずれも１２種類あり、合わせて２４個の調がある。このうち平行調の関係にある長調、短調（例えばハ長調とイ短調）には同じ背景色を適用する場合、背景色は１２種類となる。

【0046】

出力制御ルーチン７０ｄは、作成された第１画像、および第２画像を、制御部５６に、表示装置としての表示部５２に表示させる。

【0047】

＜作用＞
次に、上記構成における作用を説明する。以下では、情報処理装置ＴＢの通信部５３とデジタルキーボード１の通信部９０とが有線接続されているとして説明する。また、画像を表示部５２に表示させるためのアプリケーションが情報処理装置ＴＢで起動されているとする。

【0048】

図４は、情報処理装置ＴＢの処理手順の一例を示すフローチャートである。図４において、情報処理装置ＴＢの制御部５６（ＣＰＵ）は、デジタルキーボード１からの演奏データの送信を待ち受ける（ステップＳ１）。演奏データの入力が無ければ（ステップＳ１：ＮＯ）、制御部５６は、演奏終了判断処理を行う（ステップＳ４）。

【0049】

ステップＳ４において、演奏データの入力無しで所定の時間が経過すると（ステップＳ４：ＹＥＳ）、制御部５６は演奏が終了したと判定する。つまり、或る時間にわたって演奏データの受信入力が検出されない場合、処理手順はステップＳ５に進む。なお、伴奏データを自動再生し、メロディを演奏者に指定させる形態においては、伴奏データの自動再生が終了した時点で演奏が終了したと判断してステップＳ５に移行しても良い。つまり、演奏終了と制御部５６が判断する理由はどのような理由であってもよい。要するに、制御部５６が演奏終了を判断すると、処理手順をステップＳ５に移行すればよい。

【0050】

ステップＳ５において、制御部５６は、演奏データ８０ａの解析結果を反映する静止画像を作成し、表示部５２に表示出力する（ステップＳ５）。この静止画像が、この実施形態における第１画像である。

【0051】

図５は、静止画像の一例を示す図である。実施形態においては、画像そのものに操作アイコン（ウィジェット）を重ねて表示する。図５の静止画像の中央には、”再生（右向き黒塗り矢印）”マークが表示され、上下左右にそれぞれ”∧”、”Ｖ”、”＜”、”＞”のマークが表示される。いずれのマークも表示部５２のタッチパネルでオン（タップ）することができ、ユーザの意思をシステムに伝えるためのインタフェースである。例えば”＜”または”＞”は、表示中の静止画像をインクリメントさせるために用いることができる。あるいは、表示中の静止画像を切り替えるためにも用いることができる。

【0052】

図６は、”再生”マークに代えて、印刷のためのアイコン（印刷マーク）が中央に表示された静止画像を示す。印刷マークは、ユーザにより好みの静止画像が選択されてから少し時間が経つと表示される。印刷マークがタップされると印刷モードに移行する。

【0053】

図７は、静止画像の他の例を示す図である。例えば演奏とともに表示部５２（図３）にリアルタイム表示される動画像のうちの１フレーム（最終フレーム等）を取り出して、静止画像とすることもできる。このようにして作成された画像を［フレーム画像］と称することにする。つまりフレーム画像は、演奏が終わってから第１画像が表示されるまでの間に表示されている画像といえる。図５～図７に表示される”再生”、および”∧”、”Ｖ”、”＜”、”＞”の各マークは、編集モードに移行するために用いられることができる。

【0054】

再び図４に戻って説明を続ける。図４において、演奏の終了が検出されなければ（ステップＳ４：ＮＯ）、処理手順はステップＳ１に戻る。ステップＳ１で演奏データの入力が有ると（ステップＳ１：ＹＥＳ）、処理手順は次のステップＳ２に移る。

【0055】

ステップＳ２において、制御部５６は、演奏判定処理を実行する（ステップＳ２）。ステップＳ２において制御部５６は、取得した演奏データに基づき、例えば、調（例えば、ハ長調～ロ短調の２４種類）の判定、コード種別（例えば、Ｍａｊｏｒ、ｍｉｎｏｒ、ｓｕｓ４、ａｕｇ、ｄｉｍ、７ｔｈ等）の判定、及び、音名（例えば、ド、レ、ミ等）の判定等を行う。音名は、演奏データに含まれるノートナンバー等によって判定することができる。ここで判定された調は、ステップＳ５で生成される第１画像（静止画像）の背景色に反映される。

【0056】

なお、演奏判定処理としては、調性の判定、コード種別の判定及び音名の判定のうちのいずれかを行うものとしてもよい。逆に、それらに加え、例えば、シンコペーション、コード進行等と言ったものの判定を行うようにしてもよい。

【0057】

演奏判定処理を終えると、制御部５６は、演奏データを受信したタイミングに合せて、演奏データに応じた動画像を表示部５２に出力して表示する（ステップＳ３）。なお、演奏データを受信したタイミングに合せてとは、時間的に同時を意味するものではなく、演奏データを受信する毎に、と理解される。

【0058】

例えば、基礎となる画像（基礎画像）をメモリ５５に予め記憶させ、コンピュータグラフィックス（ＣＧ）により基礎画像を加工して動画像を作成し、表示部５２に表示させることができる。これに限らず、表示部５２に表示させる第１画像は、要するに演奏データに応じた動画像であればよい。

【0059】

さて、ステップＳ５が完了すると、制御部５６は、再生／編集／印刷／設定モードへの移行を待ち受ける（ステップＳ６）。すなわち、図５～図７のいずれかの画像が表示されている状態から”∧”、”Ｖ”、”＜”、”＞”の各マーク、あるいは印刷マークがタップされると（ステップＳ６：ＹＥＳ）、制御部５６は、情報処理装置ＴＢを再生／編集／印刷／設定モードに移行させる（ステップＳ７）。

【0060】

図８Ａ、および図８Ｂは、再生／編集／印刷／設定モードにおける処理手順の一例を示すフローチャートである。図８Ａにおいて、制御部５６は、鍵盤１０１（図２）のいずれかの鍵が押鍵されたかどうかをチェックする（ステップＳ１１）。押鍵があれば（ＹＥＳ）、演奏待機状態に入り、呼び出し元、つまり図４の処理手順に戻る（ＲＥＴＵＲＮ）。押鍵が無ければ（ＮＯ）、制御部５６は、図５の画面において”再生”マークがタップされたかどうかを判定する（ステップＳ１２）。ＹＥＳならば、処理手順は再生処理にジャンプして（ステップＳ１５）、ＲＡＭ８０（図３）に記憶された演奏データ８０ａに基づく演奏が開始される。このような手順により、フレーム画像からの曲再生が可能となる。

【0061】

次に、制御部５６は、図５の画面において”＜”、または”＞”マークがタップされたかどうかを判定する（ステップＳ１３）。
図９は、”＜”、または”＞”マークがタップされたときの表示部５２における画面遷移の一例を示す図である。図８ＡのステップＳ１３において、”＞”がタップされると、インクリメント方向、つまり図９の矢印の方向に画面が一つずつ遷移する（ステップＳ１６）。”＜”がタップされるとデクリメント方向（逆方向）に画面が遷移する（ステップＳ１６）。図９に示されるように、複数の曲に対応する画像がサイクリックに（繰り返し）表示される。図９に示されるのは過去に演奏された４曲分の画像データで、曲ごとに［フレーム画像］と［第１画像］とがセットになっている。

【0062】

次に制御部５６は、鍵が押鍵されたかどうかをチェックして（ステップＳ１７）、押鍵があれば（ＹＥＳ）、演奏待機状態に入って呼び出し元の処理手順（図４）に戻る（ＲＥＴＵＲＮ）。押鍵が無ければ（ＮＯ）、制御部５６は”再生”マークがタップされたかどうかを判定し（ステップＳ１８）、ＹＥＳならば、処理手順は再生処理にジャンプする（ステップＳ１９）。このような手順により、その時までにＲＡＭ８０記憶された演奏データ８０ａ、および画像データ８０ｂを選択し、再生することが可能となる。

【0063】

一方、ステップＳ１３でＮＯならば、制御部５６は、”∧”マークがタップされたか否かを判定し（ステップＳ１４）、ＹＥＳならば設定画面が表示される（ステップＳ２０）。
図１０は、”∧”マークがタップされたときに表示される設定画面の一例を示す図である。設定内容は、例えば演奏する曲の難易度、ご褒美の絵（ブーケ、アブストラクト、キッズ）の設定やその出現比率、ご褒美の有無などがある。また、全体的な音楽解析に関する部分と評価の部分、および、どのようなタイプの絵（キャラクター）を使うかなど、表現に関する部分の詳細を設定することができる。

【0064】

設定画面が表示された後でも、制御部５６は、鍵が押鍵されたかどうかをチェックして（ステップＳ２１）、押鍵があれば（ＹＥＳ）呼び出し元の処理手順（図４）に戻る（ＲＥＴＵＲＮ）。押鍵が無ければ（ＮＯ）、制御部５６はキャンセルボタン（図１０）がタップされたか否かを判定し（ステップＳ２２）、ＹＥＳならば初期画面（図５）に戻ってステップＳ１１からの手順が再び繰り返される。

【0065】

ステップＳ２２でＮＯならば、制御部５６はＯＫボタンがタップされたか否かを判定し（ステップＳ２３）、ＹＥＳならば設定内容がシステムに反映される（ステップＳ２４）。ＮＯならば処理手順は再びステップＳ２１に戻る。このような手順により、表現、評価、音楽解析などの様々な設定を変更することができる。

【0066】

図８Ｂは、図８ＡのステップＳ１４でＮＯを判定された場合のジャンプ先となる処理手順を示す。図８のステップＳ２５において、制御部５６は、”Ｖ”マークがタップされたか否かを判定し（ステップＳ２５）、ＹＥＳならばトランスポーズ設定画面が表示される（ステップＳ２８）。
図１１は、”Ｖ”マークがタップされたときに表示されるトランスポーズ設定画面の一例を示す図である。演奏された曲のキー（オリジナルＫｅｙ）に対応する色の第１画像と、他の１１のキーに対応する色の第１画像とを合わせて１２個の画像が、この画面にサムネイル表示される。この画面が表示される前に演奏された曲のキーがＣ（Ｋｅｙ＝Ｃ）ならば、Ｃのサムネイル画像が四角い枠（カーソル）で囲って強調表示される。カーソルは”∧”、”Ｖ”、”＜”、”＞”の各マークで移動させることができ、ユーザの好みの画像を選択することができる。

【0067】

図１２に示されるように、サムネイル画像は、ステップＳ５（図４）で生成される第１画像（静止画像）に対応する画像群であってよい。なおサムネイル表示において平行調の関係にある長調／短調をまとめて１つの縮小画像にしているので、全キー分の画像は１２個になる。図５の”＜”または”＞”で好みの絵を選んでから”Ｖ”をタップすると、図１１の画面になる。図１１は、図１２のサムネイル画像のうち、図５で選択された画像にフォーカスを当てたものといえる。

【0068】

図１３に示されるように、サムネイル画像は、各キーに対応するフレーム画像を縮小した画像群であっても良い。図７の”＜”または”＞”で好みの絵を選んでから”Ｖ”をタップすると、フレーム画像に対応するトランスポーズ設定画面になる。つまり図１３のサムネイル画像と、図１１の右の各ボタンとが同じ画面に表示される。

【0069】

好みの絵を指定する際に、第１画像を見たい場合もあれば、演奏直後のフレーム画像を見たい人もいる。いずれの画像からも、”Ｖ”をタップして、トランスポーズ設定画面を表示することができる。

【0070】

図８Ｂに戻って説明を続ける。ステップＳ２８の次に、制御部５６は、図１３に示されるような、オリジナルキーであるＣ、および他のキーにトランスポーズ（移調）した全ての調のサムネイル画像を表示する（ステップＳ２９）。図１３において、Ｃの画像にカーソルが当たっているので（フォーカスされているので）、オリジナルキーが選択されていることが分かる。”＜”または”＞”をタップして他のキーを選択すると、Ｋｅｙが変更されて他のキーが選択される。

【0071】

次に、制御部５６は、印刷オンか否かを判定する（ステップＳ３０）。これは、図１３の［このＫｅｙで印刷する］ボタンがタップされたか否かの判定である。ＹＥＳならば、制御部５６は、選択されたＫｅｙの画像を印刷用のバッファに登録し（ステップＳ３４）、処理手順は印刷設定画面にジャンプして印刷が実行される（ステップＳ３９）。このようにして、ユーザの好みの色合いの画像が印刷される。しかもその画像は演奏の内容を反映したものになっている。

【0072】

演奏データ８０ａがＭＩＤＩデータであるので、全調でトランスポーズして画像に展開することはＣＰＵの計算により十分に可能である。出力制御ルーチン７０ｄ（図３）が、オリジナルキーのＭＩＤＩデータを他の調に移調し、第２画像作成ルーチン７０ｃが、移調されたＭＩＤＩデータに基づいて第２画像、あるいはフレーム画像を作成する。移調されたＭＩＤＩデータ、および作成された第２画像データは、ＲＡＭ８０（図３）に記憶される。

【0073】

ステップＳ３０でＮＯならば、制御部５６は、演奏を聞いてみるかどうかを判定する（ステップＳ３１）。これは、図１３の［このＫｅｙで聴いてみる］ボタンがタップされた否かの判定である。ＹＥＳならば、制御部５６は、Ｋｅｙの変更の有無を判定し（ステップＳ３５）、変更があれば（ＹＥＳ）、選択されたＫｅｙでＭＩＤＩデータを再生する（ステップＳ３６）。図１３のトランスポーズ画面で色々な調で聴き比べることもできる。Ｋｅｙの変更が無ければ（ステップＳ３５：ＮＯ）、オリジナルキーのＭＩＤＩデータが再生される（ステップＳ３７）。

【0074】

ステップＳ３１でＮＯならば、制御部５６は、Ｋｅｙの変更の有無を判定する（ステップＳ３２）。ここでＹＥＳならば、制御部５６は、現在のＫｅｙ表示、およびカーソルの位置を変更する（ステップＳ３８）。図１１のキャンセルボタンがタップされると、編集モードから抜けて、トランスポーズ設定画面から図５または図７の画面に戻る。トランスポーズした画像と移調した演奏を保存する場合には、図７に戻る際に、トランスポーズされた状態のフレーム画像に戻るようにすればよい。

【0075】

このようにして、オリジナル調の画像のもとになったＭＩＤＩデータをトランスポーズすることにより、調に合う色と音の関係を崩すことなく、各調の背景色に合う全ての絵を表示することができる。また、トランスポーズしたＫｅｙでの再生を可能にすることにより、演奏者の求める絵を提供することができる。

【0076】

さらに説明を続ける。ステップＳ２５でＮＯならば、制御部５６は、印刷アイコン（図６）が表示されているとき、これがタップされたか否かを判定する（ステップＳ２６）。ＹＥＳならば、処理手順は印刷設定画面の表示にジャンプして印刷が実行される（ステップＳ３９）。

【0077】

図１５、および図１６は、印刷設定画面の一例を示す図である。図１５はプリントされる絵に表示される項目を決めるためのもので、任意の項目をチェックボックスで選択できるようになっている。演奏者の名前、あるいは曲名が選択されると図１６のＧＵＩ（Graphical User Interface）が表示され、文字を入力できるようになっている。日付や曲の長さ、調などが選択されると、これらの項目は自動で印刷される。

【0078】

制御部５６は、印刷設定の変更の有無を判定し（ステップＳ４０）、変更があれば（ＹＥＳ）、変更設定を保存して（ステップＳ４１）、バッファされた画像データに変更された情報を重ねて印刷する（ステップＳ４３）。変更が無ければ（ステップＳ４０：ＮＯ）、制御部５６はデフォルト設定を採用し（ステップＳ４２）、処理手順はステップＳ４３に移る。印刷が完了すると図４の呼び出し元の処理手順に戻る（ＲＥＴＵＲＮ）。

【0079】

なお、ステップＳ２６でＮＯならば、制御部５６は、鍵が押鍵されたかどうかをチェックして（ステップＳ２７）、押鍵があれば（ＹＥＳ）呼び出し元の処理手順（図４）に戻る（ＲＥＴＵＲＮ）。押鍵が無ければ（ＮＯ）処理手順は再び図８ＡのステップＳ１１に戻る。

【0080】

以上説明したように、実施形態では、オリジナルの調の絵のＭＩＤＩデータを移調（トランスポーズ）して、調に合う色と音の関係は崩すことなく、Ｋｅｙ選択によりそれぞれの調の背景色に合う絵をすべて表示できるようにした。また、移調したＭＩＤＩデータにより、トランスポーズしたＫｅｙでの再生を行えるようにした。このようにすることで、音と色との相関の一貫性を保ったまま、演奏者のニーズに合う絵を提供することが可能になる。

【0081】

移調されたＭＩＤＩデータにより作成したイメージをサムネイル表示し、ユーザ、は好きな絵を印刷することができる。演奏で作成される絵の色合いは音楽解析で決定されるが、他の調だとどんな色合いになるのかに興味を持つユーザは多い。単に色を変えるのではなく、実施形態ではトランスポーズされたＫｅｙで聴くことも可能であり、音と色の相関は一貫しているので混乱を生じないというメリットがある。

【0082】

また実施形態では、演奏から作成された最終画面（第１画像、またはフレーム画像）に４つの方向アイコンと中央のアイコンを設け、簡単な操作で曲の選択、再生、トランスポーズによる絵の選択と再生、印刷、様々な解析や表現の設定などを実施できるようにした。従って、曲の再生、選択、トランスポーズによる絵の編集、印刷、様々な解析や表現の設定などをわかりやすく、簡単に編集することができる。

【0083】

これらのことから実施形態によれば、演奏により作成された絵の色合いを変更できるようになり、これによりユーザの興味を喚起し得るプログラム、方法、電子機器、および演奏データ表示システムを提供することが可能になる。ひいては、楽器を演奏したり、練習したりすることがさらに楽しくなる。

【0084】

なお、本発明は、具体的な実施形態に限定されるものではない。例えば実施形態では、情報処理装置ＴＢとして、デジタルキーボード１とは別体の、タブレット型の携帯端末を想定した。これに限らず、デスクトップ型、またはノート型のコンピュータを用いても良い。あるいは、デジタルキーボード１自体が情報処理装置の機能を兼ね備えていてもよい。また、本発明の技術的範囲には、本発明の目的が達成される範囲での様々な変形や改良などが含まれるものであり、そのことは当業者にとって特許請求の範囲の記載から明らかである。

【0085】

以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。
付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲のとおりである。
＜請求項１＞
情報処理装置に、
入力された演奏データに基づいて、複数の種別を含む属性についていずれか１つの種別を決定させ、
決定された前記種別に応じた第１色を含む第１画像を生成させ、
決定された前記種別とは異なる種別に応じた第２色を含む第２画像を生成させ、
前記第１画像及び前記第２画像を表示装置に表示させる、
プログラム。
＜請求項２＞
前記属性は、前記種別として複数の調を含む調性であり、
前記第１画像及び前記第２画像を、いずれも入力された前記演奏データに基づいて生成させる、
請求項１に記載のプログラム。
＜請求項３＞
前記第１画像の背景色に前記第１色を含み、
前記第２画像の背景色に前記第２色を含む、
請求項１または２に記載のプログラム。
＜請求項４＞
前記表示装置に、少なくとも前記第１画像及び前記第２画像を含む複数の画像をサムネイル表示させる、
請求項１乃至３のいずれかに記載のプログラム。
＜請求項５＞
前記第１画像の指定に応じて、入力された前記演奏データを演奏装置に与えて演奏させ、
前記第２画像の指定に応じて、入力された前記演奏データに基づいて生成された第２演奏データであって、決定された前記種別とは異なる種別に応じた第２演奏データを前記演奏装置に与えて演奏させる、
請求項１乃至４のいずれかに記載のプログラム。
＜請求項６＞
情報処理装置に、
入力された演奏データに基づいて、複数の種別を含む属性についていずれか１つの種別を決定させ、
決定された前記種別に応じた第１色を含む第１画像を生成させ、
決定された前記種別とは異なる種別に応じた第２色を含む第２画像を生成させ、
前記第１画像及び前記第２画像を表示装置に表示させる、
方法。
＜請求項７＞
表示装置と、
プロセッサと、を含み前記プロセッサが、
入力された演奏データに基づいて、複数の種別を含む属性についていずれか１つの種別を決定し、
決定された前記種別に応じた第１色を含む第１画像を生成し、
決定された前記種別とは異なる種別に応じた第２色を含む第２画像を生成し、
前記第１画像及び前記第２画像の前記表示装置への表示を指示する、
電子機器。
＜請求項８＞
電子楽器と、表示装置と、を備え、
前記電子楽器は、
ユーザによる演奏操作に応じて演奏データを生成するとともに、生成された前記演奏データを前記表示装置に出力し、
前記表示装置は、
入力される前記演奏データに基づいて、複数の種別を含む属性についていずれか１つの種別を決定し、
決定された前記種別に応じた第１色を含む第１画像を生成し、
決定された前記種別とは異なる種別に応じた第２色を含む第２画像を生成し、
前記第１画像及び前記第２画像を表示する、
演奏データ表示システム。

【符号の説明】

【0086】

１…デジタルキーボード、３…記憶装置、４…ＭＩＤＩ装置、１０…鍵、２０…表示部、３０…操作部、４０…発音部、４２…スピーカ、５１…操作部、５２…表示部、５３…通信部、５４…音出力部、５５…メモリ、５６…制御部、５７…バス、６０…ＲＯＭ、７０…プログラム、７０ａ…音楽解析ルーチン、７０ｂ…画像作成ルーチン、７０ｃ…画像作成ルーチン、７０ｄ…出力制御ルーチン、８０…ＲＡＭ、８０ａ…演奏データ、８０ｂ…第１画像データ、８０ｃ…第２画像データ、９０…通信部、１０１…鍵盤、１０５…ＲＡＭ、１０６…ＲＯＭ、１１１…ＣＰＵ、２０１…ＣＰＵ、２０２…ＲＯＭ、２０３…ＲＡＭ、２０４…音源、２０６…キースキャナ、２０７…ＬＥＤコントローラ、２０７…コントローラ、２０８…ＬＣＤコントローラ、２０９…システムバス、２１０…タイマ、２１１…Ｄ／Ａコンバータ、２１２…Ｄ／Ａコンバータ、２１３…ミキサ、２１４…アンプ、２１５…ＭＩＤＩインタフェース、２１６…ＵＳＢインタフェース、２０５…音声合成ＬＳＩ。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8A】

【図8B】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】