特開 2025-156764 情報処理装置、演奏装置、方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2025156764

(43)【公開日】2025-10-15

(54)【発明の名称】情報処理装置、演奏装置、方法およびプログラム

(51)【国際特許分類】

   G10H 1/00 20060101AFI20251007BHJP

   G10H 1/18 20060101ALI20251007BHJP

   G10G 1/00 20060101ALI20251007BHJP

   G09B 15/00 20060101ALI20251007BHJP

【ＦＩ】

G10H1/00 Z

G10H1/18 Z

G10G1/00

G09B15/00 Z

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2024059403

(22)【出願日】2024-04-02

(71)【出願人】

【識別番号】000001443

【氏名又は名称】カシオ計算機株式会社

(74)【代理人】

【識別番号】110004185

【氏名又は名称】インフォート弁理士法人

(72)【発明者】

【氏名】石岡 ゆき奈

【テーマコード（参考）】

5D182

5D478

【Ｆターム（参考）】

5D182AA24

5D182AB03

5D182AB10

5D478CC33

5D478KK12

(57)【要約】

【課題】ペダル操作時にどのようにして楽音が変化するかをユーザに直感的に理解させやすくすること。
【解決手段】情報処理装置は、表示部と、少なくとも１つのプロセッサと、を備える。少なくとも１つのプロセッサは、演奏装置のペダルに対する操作に応じた第１の演奏情報を取得すると、ペダルに対する操作に応じたダンパおよびハンマの動きを模した画像を、表示部に表示させる。
【選択図】図６

【特許請求の範囲】

【請求項1】

表示部と、
少なくとも１つのプロセッサと、を備え、
前記少なくとも１つのプロセッサは、演奏装置のペダルに対する操作に応じた第１の演奏情報を取得すると、前記ペダルに対する操作に応じたダンパおよびハンマの動きを模した画像を、前記表示部に表示させる、
情報処理装置。

【請求項2】

前記ペダルは、ダンパペダルを含み、
前記少なくとも１つのプロセッサは、前記ダンパペダルに対する操作に応じた前記第１の演奏情報を取得すると、全ての鍵に対応する前記ダンパを弦に対して上昇させる画像を、前記表示部に表示させる、
請求項１に記載の情報処理装置。

【請求項3】

前記ペダルは、ソステヌートペダルを含み、
前記少なくとも１つのプロセッサは、前記ソステヌートペダルに対する操作に応じた前記第１の演奏情報を取得すると、前記演奏装置でユーザに押されている鍵に対応する前記ダンパを弦に対して上昇させる画像を、前記表示部に表示させる、
請求項１に記載の情報処理装置。

【請求項4】

前記ペダルは、ソフトペダルを含み、
前記少なくとも１つのプロセッサは、前記ソフトペダルに対する操作に応じた前記第１の演奏情報を取得すると、前記ハンマを弦に対して所定量スライドさせる画像を、前記表示部に表示させる、
請求項１に記載の情報処理装置。

【請求項5】

前記少なくとも１つのプロセッサは、前記ハンマを前記弦に対してスライドさせた画像において、前記演奏装置に対する押鍵操作に応じて前記ハンマに叩かれる弦と前記ハンマに叩かれない弦とを、異なる形態で表示する、
請求項４に記載の情報処理装置。

【請求項6】

楽曲を構成する音高のなかで、最も低い音高、最も高い音高を、それぞれ最低音高、最高音高とし、
前記少なくとも１つのプロセッサは、
前記楽曲の前記最低音高と前記最高音高を検知し、
前記演奏装置の鍵盤に含まれる全ての鍵に対応する前記ダンパおよび前記ハンマのうち、検知された前記最低音高の鍵から前記最高音高の鍵までの、前記ダンパおよび前記ハンマを、前記表示部に表示させる、
請求項１に記載の情報処理装置。

【請求項7】

前記少なくとも１つのプロセッサは、前記演奏装置に対する鍵盤操作に応じた第２の演奏情報を取得すると、前記鍵盤操作に応じた前記ダンパおよび前記ハンマの動きを模した画像を前記表示部に表示させる、
請求項１に記載の情報処理装置。

【請求項8】

請求項１から請求項７の何れか一項に記載の情報処理装置と、
鍵盤と、
前記ペダルと、を備える、
演奏装置。

【請求項9】

演奏装置のペダルに対する操作に応じた第１の演奏情報を取得すると、前記ペダルに対する操作に応じたダンパおよびハンマの動きを模した画像を、表示部に表示させる、処理を、コンピュータに実行させる、
方法。

【請求項10】

演奏装置のペダルに対する操作に応じた第１の演奏情報を取得すると、前記ペダルに対する操作に応じたダンパおよびハンマの動きを模した画像を、表示部に表示させる、処理を、コンピュータに実行させる、
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本明細書の開示は、情報処理装置、演奏装置、方法およびプログラムに関する。

【背景技術】

【0002】

ペダルの踏み込み量を表示部に表示する電子鍵盤楽器が知られている（例えば特許文献１参照）。

【0003】

特許文献１に記載の電子鍵盤楽器は、ペダルの踏み込み量を検知し、検知された踏み込み量と模範の踏み込み量とを並べて表示する。ユーザは、これらの踏み込み量を見比べることで、適切な踏み込み量を把握することができる。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００７－２５６８７１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１に記載の電子鍵盤楽器では、ペダルの適切な踏み込み量をユーザに把握させることができたとしても、ペダル操作時にどのような原理によって楽音が変化（音の響き、音の柔らかさなどが変化）するかをユーザに直感的に理解させることが難しい。すなわち、特許文献１に記載の電子鍵盤楽器は、ペダル操作時にどのようにして楽音が変化するかをユーザに直感的に理解させるという観点において改良の余地がある。

【0006】

本開示の実施形態は上記の事情に鑑みてなされたものであり、その目的とするところは、ペダル操作時にどのようにして楽音が変化するかをユーザに直感的に理解させやすい情報処理装置、演奏装置、方法およびプログラムを提供することである。

【課題を解決するための手段】

【0007】

本開示の一実施形態に係る情報処理装置は、表示部と、少なくとも１つのプロセッサと、を備える。少なくとも１つのプロセッサは、演奏装置のペダルに対する操作に応じた第１の演奏情報を取得すると、ペダルに対する操作に応じたダンパおよびハンマの動きを模した画像を、表示部に表示させる。

【発明の効果】

【0008】

本開示の一実施形態によれば、ペダル操作時にどのようにして楽音が変化するかをユーザに直感的に理解させやすい情報処理装置、演奏装置、方法およびプログラムが提供される。

【図面の簡単な説明】

【0009】

【図1】本開示の一実施形態に係る電子楽器の外観を示す図である。

【図2】本開示の一実施形態に係る電子楽器の構成を示すブロック図である。

【図3】本開示の一実施形態に係る情報処理装置の構成を示すブロック図である。

【図4】本開示の一実施形態に係る情報処理装置の画面に表示される画像例を示す図である。

【図5】本開示の一実施形態に係る情報処理装置の画面に表示される画像例を示す図である。

【図6】本開示の一実施形態に係る情報処理装置の画面に表示される画像例を示す図である。

【図7】本開示の一実施形態に係る情報処理装置の画面に表示される画像例を示す図である。

【図8】本開示の一実施形態に係る情報処理装置の画面に表示される画像例を示す図である。

【図9】本開示の一実施形態に係る情報処理装置の画面に表示される画像例を示す図である。

【図10】本開示の一実施形態に係る情報処理装置の画面に表示される画像例を示す図である。

【図11】本開示の一実施形態に係る情報処理装置の画面に表示される画像例を示す図である。

【図12】本開示の一実施形態において情報処理装置のプロセッサが実行する処理のフローチャートである。

【図13】本開示の変形例１に係る情報処理装置の画面に表示される画像例を示す図である。

【図14】本開示の変形例２に係る情報処理装置の画面に表示される画像例を示す図である。

【発明を実施するための形態】

【0010】

以下の説明は、本開示の一実施形態に係る情報処理装置、演奏装置、方法およびプログラムに関する。共通の又は対応する要素については、同一又は類似の符号を付して、重複する説明を適宜簡略又は省略する。

【0011】

図１に示される電子楽器１は、演奏装置の一例であり、例えば電子キーボードである。電子楽器１は、電子ピアノなど、電子キーボード以外の電子鍵盤楽器でもよい。

【0012】

本開示に係る演奏装置は電子楽器１に限らない。演奏装置は、例えば、電子楽器１を再現する楽器アプリがインストールされた情報処理装置でもよい。例示的には、演奏装置は、このような楽器アプリがインストールされたスマートフォン、タブレット端末、ノートＰＣ（Personal Computer）、携帯ゲーム機、ＰＤＡ（Personal Digital Assistant）でもよい。

【0013】

すなわち、本開示に係る演奏装置は、楽器アプリがインストールされた情報処理装置３（スマートフォン、タブレット端末、ノートＰＣなど）でもよい。この場合、ユーザは、例えば、楽器アプリ上で表示される鍵盤およびペダルを操作することで、楽曲を演奏することができる。

【0014】

電子楽器１は、コンピュータの一例である。電子楽器１は、図２に示されるように、ハードウェア構成として、プロセッサ１０、ＲＡＭ（Random Access Memory）１１、フラッシュＲＯＭ（Read Only Memory）１２、外部接続インタフェース１３、鍵盤１４、ペダルユニット１５、ペダル用端子１６、スイッチパネル１７、キースキャナ１８、ＬＣＤ（Liquid crystal display）ユニット１９、音源ＬＳＩ（Large Scale Integration）２０、Ｄ／Ａコンバータ２１およびアンプ２２を備える。電子楽器１の各部は、バス２３により接続される。

【0015】

プロセッサ１０は、フラッシュＲＯＭ１２に格納されたプログラムおよびデータを読み出す。プロセッサ１０は、ＲＡＭ１１をワークエリアとして用いることにより、電子楽器１を統括的に制御する。

【0016】

プロセッサ１０は、例えばシングルプロセッサまたはマルチプロセッサであり、少なくとも１つのプロセッサを含む。複数のプロセッサを含む構成とした場合、プロセッサ１０は、単一の装置としてパッケージ化されてもよく、また、電子楽器１内で物理的に分離した複数の装置で構成されてもよい。プロセッサ１０は、例えば、制御部、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processor Unit）またはＭＣＵ（Micro Controller Unit）と呼ばれてもよい。

【0017】

ＲＡＭ１１は、データやプログラムを一時的に保持する。ＲＡＭ１１には、フラッシュＲＯＭ１２から読み出された各種プログラム、各種データが保持される。

【0018】

フラッシュＲＯＭ１２は、フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable ROM）、ＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）などの不揮発性の半導体メモリである。フラッシュＲＯＭ１２は、制御プログラム１２Ａを記憶する。プロセッサ１０が制御プログラム１２Ａを実行することにより、本開示の一実施形態に係る電子楽器１の各種処理が実行される。

【0019】

外部接続インタフェース１３は、例えば、プロセッサ１０の制御下で、外部のＭＩＤＩ（Musical Instrument Digital Interface）機器とＭＩＤＩデータ（ＭＩＤＩメッセージ）をシリアル形式で入出力するインタフェースである。

【0020】

鍵盤１４は、第１の演奏操作子である６１個の鍵を備える。具体的には、鍵盤１４は、３６個の白鍵と２５個の黒鍵を備える。各鍵は、それぞれ異なる音高と対応付けられている。電子楽器１は、鍵盤１４が備える鍵に対する押鍵操作に応じて楽音を発音する。鍵盤１４の鍵数は、６１に限らない。鍵盤１４は、８８個の鍵、７６個の鍵など、他の鍵数を備える構成としてもよい。

【0021】

なお、本開示において使用する「第１の」、「第２の」などの呼称を使用した要素へのいかなる参照も、それらの要素の量または順序を全般的に限定しない。これらの呼称は、２つ以上の要素間を区別するために便宜的に使用される。そのため、第１および第２の要素の参照は、例えば、２つの要素のみが採用されること、第１の要素が第２の要素に先行しなければならないこと、などを意味しない。

【0022】

ペダルユニット１５は、ペダル用端子１６に接続される。ペダルユニット１５は、第２の演奏操作子である３本のペダルを備える。具体的には、ペダルユニット１５は、ダンパペダル１５Ａ、ソステヌートペダル１５Ｂ、ソフトペダル１５Ｃを備える。ユーザがペダルを踏んだ状態で鍵盤１４の鍵を押すと、電子楽器１は、踏まれているペダルに対応付けられた音響効果を楽音に付加して発音処理を行う。

【0023】

スイッチパネル１７は、電子楽器１を操作するための各種操作子を含む。各種操作子には、電源、録音、再生／停止、音調調整、音色選択、音響効果（ビブラート、ピッチベンドなど）などの各種機能に対応する操作子が含まれる。

【0024】

キースキャナ１８は、鍵盤１４に対する押鍵および離鍵を監視する。キースキャナ１８は、例えばユーザによる押鍵操作を検出すると、押鍵イベントをプロセッサ１０に出力する。押鍵イベントには、押鍵操作に係る鍵の音高の情報（キーナンバ）が含まれる。キーナンバは、鍵番号、ＭＩＤＩ（Musical Instrument Digital Interface）キー、ノートナンバと呼ばれることもある。音高は、ノートと呼ばれることもある。

【0025】

本実施形態では、鍵の押鍵速度（ベロシティ）を計測する手段が別途設けられており、この手段により計測されたベロシティも押鍵イベントに含まれる。例示的には、各鍵について複数の接点スイッチが設けられている。鍵が押される際の各接点スイッチが導通する時間の差により、ベロシティが計測される。ベロシティは、押鍵操作の強さを示す値ともいえ、また、楽音の大きさ（音量）を示す値ともいえる。

【0026】

ＬＣＤユニット１９は、ＬＣＤおよびドライバを含む。プロセッサ１０による制御信号に従ってドライバがＬＣＤを駆動すると、制御信号に応じた画面が表示される。ＬＣＤは、有機ＥＬ（Electro Luminescence）などの、他の形態の表示装置に置き換えられてもよい。

【0027】

波形データは、フラッシュＲＯＭ１２または不図示の別のメモリに格納される。この波形データは、押鍵操作に応じて楽音が速やかに発音されるように、電子楽器１の起動処理時にＲＡＭ１１にロードされる。プロセッサ１０は、キースキャナ１８で押鍵操作が検知されると、ＲＡＭ１１にロードされた波形データのなかから、対応する波形データの読み出しを音源ＬＳＩ２０に指示する。読み出し対象の波形データは、例えば、ユーザによる操作によって選択された音色および押鍵イベントに応じて決まる。

【0028】

音源ＬＳＩ２０は、プロセッサ１０の指示のもと、ＲＡＭ１１から読み出した波形データに基づいて楽音を生成する。音源ＬＳＩ２０は、例えば１２８のジェネレータセクションを備えており、最大で１２８の楽音を同時に発音することができる。なお、本実施形態では、プロセッサ１０と音源ＬＳＩ２０とが別々のプロセッサとして構成されるが、別の実施形態では、プロセッサ１０と音源ＬＳＩ２０とが１つのプロセッサとして構成されてもよい。

【0029】

音源ＬＳＩ２０により生成されたデジタル楽音データは、Ｄ／Ａコンバータ２１によりアナログ信号に変換された後、アンプ２２により増幅されて、例えばラインアウト端子から出力される。例えばラインアウト端子に接続されたスピーカで楽音が再生される。

【0030】

図１に示されるように、情報処理装置３は、譜面台２に置かれる。情報処理装置３は、コンピュータの一例である。情報処理装置３は、図３に示されるように、プロセッサ３０、フラッシュＲＯＭ３１、ＨＭＩ（Human Machine Interface）３２および通信インタフェース３３を備える。

【0031】

プロセッサ３０は、ＣＰＵ、ＲＡＭ、ＲＯＭ等を含む素子である。プロセッサ３０は、例えば、フラッシュＲＯＭ３１に記憶された制御プログラム３１Ａをはじめとする各種プログラムをワークエリアであるＲＡＭ上に展開し、展開されたプログラムに従って情報処理装置３を制御する。

【0032】

プロセッサ３０は、例えばシングルプロセッサ又はマルチプロセッサであり、少なくとも１つのプロセッサを含む。複数のプロセッサを含む構成とした場合、プロセッサ３０は、単一の装置としてパッケージ化されたものでもよく、情報処理装置３内で物理的に分離した複数の装置で構成されてもよい。プロセッサ３０は、「制御部」と呼ばれてもよい。

【0033】

フラッシュＲＯＭ３１は、不揮発性の半導体メモリであり、二次記憶装置又は補助記憶装置としての役割を担う。フラッシュＲＯＭ３１には、制御プログラム３１Ａをはじめとする、プロセッサ３０が各種処理を行うために使用するプログラムおよびデータが格納される。プロセッサ１０が制御プログラム３１Ａを実行することにより、本開示の一実施形態に係る情報処理装置３の各種処理が実行される。

【0034】

ＨＭＩ３２は、例えば、タッチパネル、メカニカル方式、静電容量無接点方式、メンブレン方式などのキースイッチ、ボタンなどを含む。ユーザがＨＭＩ３２を操作すると、その操作内容を示す信号がプロセッサ３０に出力される。プロセッサ３０は、入力された信号に基づいて情報処理装置３を制御する。

【0035】

タッチパネルは、ＬＣＤ（Liquid Crystal Display）パネル、有機ＥＬ（Electro Luminescence）パネル、ＬＥＤ（Light Emitting Diode）パネルなどで構成された画面３２Ａを含む。ＨＭＩ３２は、例えば、プロセッサ３０が制御プログラム３１Ａを実行することで取得した画像を画面３２Ａに表示する。すなわち、ＨＭＩ３２は、画像を表示する表示部の一例である。なお、ＨＭＩ３２で表示される画像は、静止画または動画である。

【0036】

通信インタフェース３３は、外部機器と通信を行うための無線および有線ユニットを備える。情報処理装置３は、外部接続インタフェース１３に接続されたケーブルを介してまたは無線により外部機器（例えば電子楽器１）と通信可能に接続される。

【0037】

通信インタフェース３３は、ＭＩＤＩ規格に準拠したインタフェースを含む。プロセッサ３０は、通信インタフェース３３を介して、外部機器の一例である電子楽器１より受信した演奏情報の入力を受け付ける。入力された演奏情報は、例えばプロセッサ３０のＲＡＭに保持される。

【0038】

ここで、グランドピアノにおいて、ユーザは、屋根を開けた状態でペダル操作を行うと、ペダル操作に応じたダンパやハンマの動きを直接見ることができる。ユーザは、ダンパやハンマの動きを直接見ることにより、ペダル操作時にどのような仕組みでどのように楽音が変化（音の響き、音の柔らかさなどが変化）するかを理解しやすい。

【0039】

これに対し、電子楽器１では、グランドピアノと異なり弦が無く、ペダル操作時に物理的にハンマが弦を叩くわけではない。そのため、内部構造が見えたとしてもペダル操作時にどのような仕組みでどのように楽音が変化するかを理解することがユーザには難しい。また、電子楽器１の場合、グランドピアノでいうところの屋根が無いことが多く、そもそもユーザは内部構造を見ることができない。ペダルの原理的な部分を把握していないまま練習をし続けるユーザも少なくなく、特に、初心者は、各ペダルの役割や使いどころを把握し難い。鍵盤演奏をある程度できるような中級者は、各ペダルの役割を把握していても原理をよく知らないままのことがある。そのため、使いどころが掴めず応用が利かない（場合によっては上達が止まってしまう）ことがある。附言するに、初心者や中級者は、各ペダルの使用場面や原理を把握していないことが多く、原理を知らないまま、そもそもペダルを使用しないまま、練習を継続することも少なくない。ユーザによっては、特定の音を持続させるスイッチ、音を弱くするスイッチ、などの感覚で、ペダルを操作してしまう。スイッチと同じ感覚でペダルを操作してしまうと、演奏の表現力を上げることが難しい。

【0040】

そこで、フラッシュＲＯＭ３１に記憶された制御プログラム３１Ａは、ペダルユニット１５に対する操作に応じた第１の演奏情報（例えばコントロールチェンジメッセージ）を取得すると、ペダルユニット１５に対する操作に応じたダンパおよびハンマの動きを模した画像を、ＨＭＩ３２（表示部の一例）に表示させる、という処理を、プロセッサ３０に実行させる。

【0041】

ユーザは、このような画像を見ることで、ペダル操作時にどのような仕組みでどのように楽音が変化するかを直感的に理解することができる。別の観点では、ユーザは、視覚的な情報（ダンパの動きなど）と楽音の変化とを感覚的に結びつけることができる。ユーザは、ペダル操作の感覚が掴みやすくなり、ペダルを用いた際の演奏の表現力を上げることができる。

【0042】

例えば、ＨＭＩ３２の画面３２Ａに、図４に示される画像１００が表示される。画像１００には、音高Ｃ２～Ｃ７のそれぞれ（言い換えると、鍵盤１４の各鍵）に対応するハンマＨ１～Ｈ６１が一列に並べて表示される。ハンマＨ１～Ｈ６１のそれぞれの上方に、鍵盤１４の各鍵に対応する弦Ｓが表示され、更に、ハンマＨ１～Ｈ６１のそれぞれに対応するダンパＤ１～Ｄ６１が一列に並べて表示される。便宜上、ハンマＨ１～Ｈ６１を「ハンマＨ」と総称し、また、ダンパＤ１～Ｄ６１を「ダンパＤ」と総称する。

【0043】

このように、画像１００には、鍵盤１４の鍵数（ここでは６１鍵）に対応するダンパＤ、ハンマＨおよび弦Ｓが表示される。画像１００では、ダンパＤおよびハンマＨの動きをユーザに簡明に伝えるため、ダンパＤ、ハンマＨおよび弦Ｓが模式的な図形で示される。

【0044】

画像１００では、便宜上、全ての音高に対して弦Ｓが３本ずつ表示される。一般に、グランドピアノにおいて、低い音域では、張られる弦の本数が少ない。一例として、最も低い１オクターブの各音高に対しては、弦が１本ずつしか張られない。そのため、画像１００においても、低い音域の音高に対しては、グランドピアノに合わせて、弦Ｓを１本または２本だけ表示してもよい。

【0045】

画像１００では、補助情報として、音高を示す文字が各ハンマＨに記されている。音高に代えてまたは加えて、キーナンバが各ハンマＨに記されてもよい。このような補助情報はダンパＤに記されてもよい。画像１００の簡素化のため、このような補助情報は表示されなくてもよい。

【0046】

図５に示される画像１００ａ～１００ｃは、ペダルが踏まれていない状態で、ユーザが鍵を押してから離すまでの、ダンパＤおよびハンマＨの動きを示す。例えば、音高Ｃ＃２の鍵が押されると、電子楽器１のプロセッサ１０は、音高Ｃ＃２の楽音の発音を音源ＬＳＩ２０に指示するとともに、この押鍵操作に応じたノートオンメッセージを情報処理装置３に出力する。

【0047】

情報処理装置３のプロセッサ３０は、入力されたノートオンメッセージに基づいて、ダンパＤおよびハンマＨの動きを示す動画を作成する。作成された動画では、音高Ｃ＃２に対応するハンマＨ２が上昇する。ハンマＨ２の始動から少し遅れてダンパＤ２が上昇を開始して、弦Ｓから離れる（図５の画像１００ａ参照）。

【0048】

上昇したハンマＨ２が弦Ｓを叩打する。ハンマＨ２は、弦Ｓを叩いた瞬間落下する（図５の画像１００ｂ参照）。落下したハンマＨ２は、元の位置に戻る。ユーザは、ダンパＤ２による押さえが解除された状態の弦ＳがハンマＨ２で叩かれる様子を見ることで、音高Ｃ＃２の楽音がどのようにして鳴るかを直感的に理解することができる。

【0049】

ユーザのより直感的な理解を深めるため、動画内においてハンマＨで叩かれた弦Ｓを振動させてもよい。また、図５の画像１００ｂに示されるように、振動中の弦Ｓに対してエフェクトＥＦを表示してもよい。図５の例示では、振動中の弦Ｓを矩形で囲うエフェクトＥＦが表示される。この矩形図形は、振動を示す表示形態（例えば、周期的に明滅する、周期的に色が変化する、など）で表示されてもよい。エフェクトＥＦはこれに限らない。エフェクトＥＦは、弦Ｓを周期的に明滅させたり弦Ｓの色を周期的に変化させたりするなど、別の表示形態のエフェクトでもよい。

【0050】

音高Ｃ＃２の鍵から指が離されると、電子楽器１のプロセッサ１０は、発音中の音高Ｃ＃２の楽音の消音を音源ＬＳＩ２０に指示するとともに、この離鍵操作に応じたノートオフメッセージを情報処理装置３に出力する。

【0051】

情報処理装置３のプロセッサ３０は、入力されたノートオフメッセージに基づいて、ダンパＤおよびハンマＨの動きを示す動画を作成する。作成された動画では、ダンパＤ２が下降して（図５の画像１００ｃ参照）、弦Ｓを上から押さえる（図４の画像１００参照）。ユーザは、ダンパＤ２が弦Ｓを上から押さえる様子を見ることで、音高Ｃ＃２の楽音がどのようにして消えるかを直感的に理解することができる。

【0052】

図６に示される画像１０１ａ～１０１ｂは、ダンパペダル１５Ａが踏まれたときの、ダンパＤの動きを示す。例えば、ダンパペダル１５Ａが踏まれると、電子楽器１のプロセッサ１０は、ダンパペダル１５Ａの操作に応じたコントロールチェンジメッセージ（ホールドメッセージ）を音源ＬＳＩ２０に送信するとともに、このホールドメッセージを情報処理装置３に出力する。

【0053】

情報処理装置３のプロセッサ３０は、入力されたホールドメッセージに基づいて、ダンパＤの動きを示す動画を作成する。作成された動画では、ホールドメッセージに含まれるダンパペダル１５Ａの踏み込み量を示す値に応じて、全てのダンパＤが弦Ｓから上昇する。踏み込み量が小さいほどダンパＤの上昇量が小さく（図６の画像１０１ａ参照）、踏み込み量が大きいほどダンパＤの上昇量が大きい（図６の画像１０１ｂ参照）。ダンパペダル１５Ａの踏み込みが解除されると、全てのダンパＤが下降して弦Ｓを上から押さえる（図４の画像１００参照）。

【0054】

ユーザは、ダンパペダル１５Ａの踏み込みに伴って、全ての音域でダンパＤによる弦Ｓの押さえが解除される様子を見ることで、全ての音域で楽音が響いて伸びることを直感的に理解することができる。ユーザは、ダンパペダル１５Ａの踏み込みの解除に伴って、全ての音域でダンパＤが弦Ｓを押さえる様子を見ることで、全ての音域で楽音が通常の響きと伸びになることを直感的に理解することができる。

【0055】

図７に示される画像１０２ａ～１０２ｃは、ソステヌートペダル１５Ｂが踏み込まれた状態で、ユーザが鍵を押してから離すまでの、ダンパＤおよびハンマＨの動きを示す。

【0056】

例えば、音高Ｃ＃２の鍵が押された状態でソステヌートペダル１５Ｂが踏み込まれると、電子楽器１のプロセッサ１０は、ソステヌートペダル１５Ｂの操作に応じたコントロールチェンジメッセージ（ソステヌートメッセージ）を音源ＬＳＩ２０に送信するとともに、このソステヌートメッセージを情報処理装置３に出力する。ソステヌートペダル１５Ｂが踏み込まれている間、指定音である音高Ｃ＃２の楽音が響いて伸びる。

【0057】

ソステヌートペダル１５Ｂが踏み込まれると（例えば、ソステヌートメッセージに含まれるソステヌートペダル１５Ｂの踏み込み量を示す値が６４～１２７のとき）、ソステヌートペダル１５Ｂの機能がオンとなり、ソステヌートペダル１５Ｂによる音響効果が楽音に付加される状態となる。ソステヌートペダル１５Ｂの踏み込みが解除されると（例えば、上記の値が０～６３のとき）、ソステヌートペダル１５Ｂの機能がオフとなり、ソステヌートペダル１５Ｂによる音響効果が楽音に付加されない状態となる。

【0058】

情報処理装置３のプロセッサ３０は、入力されたソステヌートメッセージに基づいて、ダンパＤの動きを示す動画を作成する。作成された動画では、指定音に対応するダンパＤ２が上昇して所定位置（以下「所定上昇位置」と記す。）で固定される（図７の画像１０２ａ参照）。動画内では、ダンパペダル１５Ａの場合と同様に、ソステヌートメッセージに含まれるソステヌートペダル１５Ｂの踏み込み量を示す値に応じて、ダンパＤ２を上昇させてもよい。

【0059】

例えば、ダンパＤ２が上昇した状態で、音高Ｂ６の鍵に対する押鍵、離鍵が順に行われると、電子楽器１のプロセッサ１０は、ノートオンメッセージ、ノートオフメッセージを情報処理装置３に順に出力する。

【0060】

情報処理装置３のプロセッサ３０は、順に入力されるノートオンメッセージ、ノートオフメッセージに基づいて、ダンパＤおよびハンマＨの動きを示す動画を作成する。作成された動画では、ハンマＨ６０が、ダンパＤ６０による押さえが解除された状態の弦Ｓを叩く（図７の画像１０２ｂ参照）。次いで、ハンマＨ６０が落下する。更に、ダンパＤ６０が下降して（図７の画像１０２ｃ参照）、弦Ｓを上から押さえる。この間、ソステヌートペダル１５Ｂによる指定音（音高Ｃ＃２の楽音）に対応するダンパＤ２は所定上昇位置で固定されたままである。

【0061】

ユーザは、ダンパＤ２が所定上昇位置で固定される様子を見ることで、ソステヌートペダル１５Ｂを踏み込んでいる間、音高Ｃ＃２の楽音が響いて伸びることを直感的に理解することができる。ユーザは、離鍵操作のタイミングでダンパＤ６０が下降して弦Ｓを上から押さえる様子を見ることで、指を離した鍵に対応する音高Ｂ６の楽音が伸びずに消えることを直感的に理解することができる。

【0062】

図８に示される画像１０３ａ～１０３ｃは、ソフトペダル１５Ｃが踏み込まれた状態で、ユーザが鍵を押してから離すまでの、ダンパＤおよびハンマＨの動きを示す。ソフトペダル１５Ｃが踏み込まれると、電子楽器１のプロセッサ１０は、ソフトペダル１５Ｃの操作に応じたコントロールチェンジメッセージ（ソフトメッセージ）を音源ＬＳＩ２０に送信するとともに、このソフトメッセージを情報処理装置３に出力する。

【0063】

ソフトペダル１５Ｃが踏み込まれると（例えば、ソフトメッセージに含まれるソフトペダル１５Ｃの踏み込み量を示す値が６４～１２７のとき）、ソフトペダル１５Ｃの機能がオンとなり、ソフトペダル１５Ｃによる音響効果が楽音に付加される状態となる。ソフトペダル１５Ｃの踏み込みが解除されると（例えば、上記の値が０～６３のとき）、ソフトペダル１５Ｃの機能がオフとなり、ソフトペダル１５Ｃによる音響効果が楽音に付加されない状態となる。

【0064】

情報処理装置３のプロセッサ３０は、入力されたソフトメッセージに基づいて、ハンマＨの動きを示す動画を作成する。作成された動画では、ハンマＨが弦Ｓに対して所定量スライドする（図８の画像１０３ａ参照）。

【0065】

例えば、ハンマＨがスライドした状態で、音高Ｃ＃２の鍵に対する押鍵、離鍵が順に行われると、電子楽器１のプロセッサ１０は、ノートオンメッセージ、ノートオフメッセージを情報処理装置３に順に出力する。

【0066】

情報処理装置３のプロセッサ３０は、順に入力されるノートオンメッセージ、ノートオフメッセージに基づいて、ダンパＤおよびハンマＨの動きを示す動画を作成する。作成された動画では、ハンマＨ２が、ダンパＤ２による押さえが解除された状態の弦Ｓを叩く（図８の画像１０３ｂ参照）。ハンマＨが初期位置からスライドしているため、３本の弦Ｓのうち２本の弦ＳだけがハンマＨ２で叩かれる。次いで、ハンマＨ２が落下する。更に、ダンパＤ２が下降して（図８の画像１０３ｃ参照）、弦Ｓを上から押さえる。

【0067】

ユーザは、ハンマＨのスライドに伴い、叩かれる弦Ｓの本数が減る様子を見ることで、楽音が柔らかくなる（別の観点では、楽音が弱くなる）ことを直感的に理解することができる。図８の例示では、矩形のエフェクトＥＦは、３本中２本の弦Ｓを囲う。そのため、ユーザは、叩かれる弦Ｓの本数が３本から２本に減ったことを容易に理解することができる。

【0068】

図９に示される画像１０４ａは、ダンパペダル１５Ａとソフトペダル１５Ｃの両方が踏み込まれた状態で、ユーザが鍵を押したときの、ハンマＨの動きを示す。画像１０４ａでは、ダンパペダル１５Ａの踏み込みに伴って、全ての音域でダンパＤによる弦Ｓの押さえが解除されている。更に、ソフトペダル１５Ｃの踏み込みに伴って、全てのハンマＨが初期位置からスライドしている。

【0069】

ユーザは、ダンパペダル１５Ａとソフトペダル１５Ｃの両方の踏み込みに伴い、ダンパＤによる弦Ｓの押さえが解除され且つハンマＨ２で叩かれる弦Ｓの本数がハンマＨ２のスライドによって減る様子を見ることで、何れの鍵が押された場合にも、通常よりも柔らかい楽音が響いて伸びることを直感的に理解することができる。

【0070】

図１０に示される画像１０５ａは、ソステヌートペダル１５Ｂとソフトペダル１５Ｃの両方が踏み込まれた状態で、ユーザが鍵を押したときの、ハンマＨの動きを示す。画像１０５ａでは、ソステヌートペダル１５Ｂの踏み込みに伴って、指定音に対応するダンパＤ２による弦Ｓの押さえが解除されている。更に、ソフトペダル１５Ｃの踏み込みに伴って、全てのハンマＨが初期位置からスライドしている。

【0071】

ユーザは、ソステヌートペダル１５Ｂとソフトペダル１５Ｃの両方の踏み込みに伴い、指定音に対応するダンパＤ２による弦Ｓの押さえが解除され且つハンマＨ２で叩かれる弦Ｓの本数がハンマＨ２のスライドによって減る様子を見ることで、指定音に対応する鍵が押された場合に限り、通常よりも柔らかい楽音が響いて伸びることを直感的に理解することができる。

【0072】

図１１に示される画像１０６ａ～１０６ｂは、ダンパペダル１５Ａとソステヌートペダル１５Ｂのうち、ダンパペダル１５Ａの踏み込みだけ解除された場合の、ダンパＤおよびハンマＨの動きを示す。

【0073】

画像１０６ａでは、ダンパペダル１５Ａの踏み込みに伴って、全てのダンパＤが所定上昇位置で固定されている。画像１０６ｂでは、ダンパペダル１５Ａの踏み込みの解除に伴ってダンパＤが下降し、弦Ｓを上から押えた状態に戻っている。但し、ソステヌートペダル１５Ｂの踏み込み時に押鍵されていた鍵に対応するダンパＤ２（すなわち、指定音に対応するダンパＤ２）だけは所定上昇位置で固定されたままである。

【0074】

ユーザは、ダンパＤ２が所定上昇位置で固定され続ける様子を見ることで、ダンパペダル１５Ａの踏み込みの解除後であってもソステヌートペダル１５Ｂを踏み込んでいる限り、指定音の楽音だけは響いて伸びることを直感的に理解することができる。

【0075】

情報処理装置３のプロセッサ３０は、演奏情報（例えばＭＩＤＩメッセージ）が入力されると、図１２のフローチャートに示される処理の実行を開始する。なお、本実施形態で示されるフローチャートの各ステップは、矛盾の無い範囲で、順序が入れ替えられてもよい。例えば、本開示では、例示的な順序を用いて様々なステップの処理を提示しているが、提示されたこの順序に限定されない。また、本実施形態で示されるフローチャートの各ステップは、矛盾の無い範囲で、並行してまたは並列で実行されてもよい。

【0076】

プロセッサ３０は、入力されたＭＩＤＩメッセージがノートオンメッセージであるか否かを判定する（ステップＳ１０１）。入力されたＭＩＤＩメッセージがノートオンメッセージである場合（ステップＳ１０１：ＹＥＳ）、プロセッサ３０は、ノートオンメッセージに含まれるノートナンバに対応するダンパＤおよびハンマＨが動く動画を作成して、ＨＭＩ３２の画面３２Ａに表示させる（ステップＳ１０２）。

【0077】

例えば、ペダル操作なしの状態で音高Ｃ＃２に対応する鍵が押されると、図５の画像１００ａ～１００ｂを含む動画がＨＭＩ３２の画面３２Ａに表示される。ここで、動画のフレームレートは、例えば３０ｆｐｓ（Frames Per Second）である。画像１００ａと画像１００ｂとの間に、ダンパＤおよびハンマＨの途中の動きを示すフレーム画像が複数回表示される。そのため、ダンパＤおよびハンマＨは、画面３２Ａ上で滑らかな動きで表示される。

【0078】

例えば、ソステヌートペダル１５Ｂが踏み込まれた状態で音高Ｂ６に対応する鍵が押されると、図７の画像１０２ｂを含む動画がＨＭＩ３２の画面３２Ａに表示される。すなわち、指定音に対応するダンパＤ２が所定上昇位置で固定された状態で、音高Ｂ６に対応するダンパＤ２およびハンマＨ２が動く動画が画面３２Ａに表示される。

【0079】

入力されたＭＩＤＩメッセージがノートオフメッセージである場合（ステップＳ１０１：ＮＯ、ステップＳ１０３：ＹＥＳ）、プロセッサ３０は、ノートオフメッセージに含まれるノートナンバに対応するダンパＤが動く動画を作成して、ＨＭＩ３２の画面３２Ａに表示させる（ステップＳ１０４）。

【0080】

例えば、ペダル操作なしの状態で音高Ｃ＃２に対応する鍵から指が離されると、図５の画像１００ｃを含む動画がＨＭＩ３２の画面３２Ａに表示される。すなわち、音高Ｃ＃２に対応するダンパＤ２が所定上昇位置から弦Ｓを上から押える位置まで徐々に下降する動画が画面３２Ａに表示される。

【0081】

例えば、ソフトペダル１５Ｃが踏み込まれた状態で音高Ｃ＃２に対応する鍵から指が離されると、図８の画像１０２ｃを含む動画がＨＭＩ３２の画面３２Ａに表示される。すなわち、ハンマＨがずれた状態で、音高Ｃ＃２に対応するダンパＤ２が所定上昇位置から弦Ｓを上から押える位置まで徐々に下降する動画が画面３２Ａに表示される。

【0082】

このように、プロセッサ３０は、電子楽器１（演奏装置の一例）に対する鍵盤操作に応じた第２の演奏情報（例えばノートオンメッセージまたはノートオフメッセージ）を取得すると、この鍵盤操作に応じたダンパＤおよびハンマＨの動きを模した画像をＨＭＩ３２（表示部の一例）に表示させる。

【0083】

ユーザは、ＨＭＩ３２の画面３２Ａに表示される動画を見ることで、鍵盤操作時にどのような仕組みでどのように楽音が鳴ったり消えたりするかを直感的に理解することができる。

【0084】

入力されたＭＩＤＩメッセージがコントロールチェンジメッセージである場合（ステップＳ１０１：ＮＯ、ステップＳ１０３：ＮＯ、ステップＳ１０５：ＹＥＳ）、プロセッサ３０は、コントロールチェンジメッセージに応じた動画（言い換えると、ペダル操作に応じた画像）を作成して、ＨＭＩ３２の画面３２Ａに表示させる（ステップＳ１０６）。

【0085】

ホールドメッセージの場合、全てのダンパＤがダンパペダル１５Ａの踏み込み量に応じた位置まで上昇する動画がＨＭＩ３２の画面３２Ａに表示される（例えば図６の画像１０１ａ～１０１ｂ参照）。ソステヌートメッセージの場合、指定音に対応するダンパＤが所定上昇位置まで上昇する動画が画面３２Ａに表示される（例えば、図７の画像１０２ａ、図１０の画像１０５ａ参照）。ソフトメッセージの場合、全てのハンマＨが所定量スライドする動画が画面３２Ａに表示される（例えば、図８の画像１０３ａ、図９の画像１０４ａ、図１０の画像１０５ａ参照）。

【0086】

このように、プロセッサ３０は、ダンパペダル１５Ａに対する操作に応じた第１の演奏情報（例えばホールドメッセージ）を取得すると、全てのダンパＤを弦Ｓに対して上昇させる画像を、ＨＭＩ３２（表示部の一例）に表示させる。プロセッサ３０は、ソステヌートペダル１５Ｂに対する操作に応じた第１の演奏情報（ソステヌートメッセージ）を取得すると、電子楽器１（演奏装置の一例）でユーザに押されている鍵に対応するダンパＤを弦Ｓに対して上昇させる画像を、ＨＭＩ３２に表示させる。プロセッサ３０は、ソフトペダル１５Ｃに対する操作に応じた第１の演奏情報（ソフトメッセージ）を取得すると、ハンマＨを弦Ｓに対して所定量スライドさせる画像を、ＨＭＩ３２に表示させる。

【0087】

ユーザは、ＨＭＩ３２の画面３２Ａに表示される動画を見ることで、ペダル操作時にどのような仕組みでどのように楽音が変化（音の響き、音の柔らかさなどが変化）するかを直感的に理解することができる。ユーザは、ペダル操作（ペダルの使い分け、タイミング、踏み込み量など）の感覚が掴みやすくなり、ペダルを用いた際の演奏の表現力を上げることができる。

【0088】

ノートオンメッセージ、ノートオフメッセージ、コントロールチェンジメッセージの何れにも該当しない場合（ステップＳ１０１：ＮＯ、ステップＳ１０３：ＮＯ、ステップＳ１０５：ＮＯ）、プロセッサ３０は、動画を作成することなく図１２に示される処理を終了する。

【0089】

以上が本開示の例示的な実施形態の説明である。本開示の実施形態は、上記に説明したものに限定されず、本開示の技術的思想の範囲において様々な変形が可能である。例えば明細書中に例示的に明示される実施形態等又は自明な実施形態等を適宜組み合わせた内容も本開示の実施形態に含まれる。

【0090】

上記の実施形態では、動画がＨＭＩ３２の画面３２Ａに表示されるが、別の実施形態では、静止画が画面３２Ａに表示されてもよい。一例として、ダンパペダル１５Ａが踏み込まれたとき、図６の画像１０１ｂが静止画で画面３２Ａに表示されてもよい。この場合、プロセッサ３０の画像処理負荷が動画を表示させる場合と比べて軽減される。ユーザは、このような静止画を見ることによっても、全ての音域で楽音が響いて伸びることを直感的に理解することができる。

【0091】

上記の実施形態では、部品（ダンパＤ、ハンマＨ、弦Ｓ）がそれぞれ左右方向に一列に並べて表示されるが、部品の表示形態はこれに限らない。例えば、白鍵に対応する部品と黒鍵に対応する部品とが上下方向にずれて表示されてもよい。この場合、ユーザは、操作した鍵と動作する部品との対応関係をより把握しやすくなる。

【0092】

上記の実施形態では、白鍵に対応する部品と黒鍵に対応する部品とが区別なく表示されるが、部品の表示形態はこれに限らない。例えば、白鍵に対応する部品と黒鍵に対応する部品とが異なる形態（色、形など）で表示されてもよい。この場合も、ユーザは、操作した鍵と動作する部品との対応関係をより把握しやすくなる。

【0093】

画像には、視覚的効果が付加されてもよい。例えば、押鍵または離鍵された鍵に対応する部品が他の部品と異なる形態（色、形など）で表示されてもよい。この場合も、ユーザは、操作した鍵と動作する部品との対応関係をより把握しやすくなる。

【0094】

部品の動きを示す画像は、ＬＣＤユニット１９の画面に表示されてもよい。すなわち、電子楽器１のプロセッサ１０が、情報処理装置３のプロセッサ３０と同様の処理を行ってもよい。この場合、電子楽器１が、本開示に係る演奏装置として動作するとともに本開示に係る情報処理装置として動作する。そのため、情報処理装置３を電子楽器１に接続する必要がなくなる。

【0095】

本開示の変形例１においてＨＭＩ３２の画面３２Ａに表示される画像例を図１３を用いて説明する。図１３に示される画像１０７ａでは、ソフトペダル１５Ｃの踏み込みに伴って、全てのハンマＨが初期位置からスライドしている。画像１０７ａでは、ハンマＨが上昇しても叩かれない弦Ｓ１と、ハンマＨが上昇したときに叩かれる弦Ｓ２と、が異なる色で表示される。更に別の変形例では、弦Ｓ１と弦Ｓ２とが異なる形で表示されてもよい。

【0096】

例えば、画面サイズの都合上、ソフトペダル１５ＣによるハンマＨの横ずれ量が表示上では微々たるものである場合がある。そこで、変形例１では、プロセッサ３０は、ハンマＨを弦Ｓに対してスライドさせた画像において、電子楽器１（演奏装置の一例）に対する押鍵操作に応じてハンマＨに叩かれる弦Ｓ２とハンマＨに叩かれない弦Ｓ１とを、異なる形態で表示する。ユーザは、異なる形態で表示される弦Ｓ１と弦Ｓ２とを視認することで、ソフトペダル１５Ｃを踏み込むことに伴い、叩かれる弦Ｓ２の本数が減ることを、視覚を通じて瞬時に把握することができ、楽音が柔らかくなることを、より直感的に理解することができる。

【0097】

本開示の変形例２においてＨＭＩ３２の画面３２Ａに表示される画像例を図１４を用いて説明する。変形例２では、フラッシュＲＯＭ１２に格納された内蔵ライブラリの楽曲を電子楽器１が再生する場合を説明する。便宜上、変形例２において再生対象となる内蔵ライブラリの楽曲を構成する音高のなかで、最も低い音高、最も高い音高を、それぞれ「最低音高」、「最高音高」と記す。

【0098】

図１４に示される画像１０８ａには、部品（ダンパＤ、ハンマＨ、弦Ｓ）を示す図形だけでなく、全体図Ｆ１が含まれる。全体図Ｆ１は、鍵盤１４の全体を模式的に示す図である。全体図Ｆ１では、鍵盤１４全体のうち、楽曲内の最低音高の鍵から最高音高の鍵までの範囲を分かりやすく示すため、個々の鍵の図示が省略される。

【0099】

プロセッサ３０は、例えば、再生対象の楽曲データを予めサーチして、最低音高（例えば音高Ｃ３）と最高音高（例えば音高Ｃ５）を検知する。プロセッサ３０は、次いで、全体図Ｆ１をＨＭＩ３２の画面３２Ａに表示させる。具体的には、プロセッサ３０は、鍵盤１４の全体のうち、最低音高の鍵から最高音高の鍵までの範囲（音高Ｃ４～Ｃ５）を、これ以外の範囲（音高Ｃ２～Ｂ３および音高Ｃ＃５～Ｃ７）と異なる色で表示する。プロセッサ３０は、更に、全ての鍵の部品でなく、最低音高の鍵から最高音高の鍵までの範囲の部品（ダンパＤ２５～Ｄ３７およびハンマＨ２５～Ｈ３７ならびに当該範囲内の弦Ｓ）を画面３２Ａに表示させる。

【0100】

このように、変形例２では、画面３２Ａに表示する部品の数を減らすことができる。そのため、例えば、部品の１つ１つをより大きいサイズで表示することができる。視認性が向上するため、ユーザは、例えば、ペダル操作時にどのような仕組みでどのように楽音が変化するかを、より直感的に理解しやすくなる。また、ユーザは、全体図Ｆ１を通じて、全体のなかでどのあたりに位置する部品が動くかを把握することができる。

【符号の説明】

【0101】

１：電子楽器、３：情報処理装置、１５：ペダルユニット、１５Ａ：ダンパペダル、１５Ｂ：ソステヌートペダル、１５Ｃ：ソフトペダル、３０：プロセッサ、ＨＭＩ：３２、Ｄ：ダンパ、Ｈ：ハンマ、Ｓ：弦

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】