特許 7331887 プログラム、方法、情報処理装置、および画像表示システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-08-15

(45)【発行日】2023-08-23

(54)【発明の名称】プログラム、方法、情報処理装置、および画像表示システム

(51)【国際特許分類】

   G10G 1/00 20060101AFI20230816BHJP

   G10H 1/00 20060101ALI20230816BHJP

【ＦＩ】

G10G1/00

G10H1/00 Z

【請求項の数】 6

(21)【出願番号】P 2021102530

(22)【出願日】2021-06-21

(65)【公開番号】P2023001671

(43)【公開日】2023-01-06

【審査請求日】2022-03-18

(73)【特許権者】

【識別番号】000001443

【氏名又は名称】カシオ計算機株式会社

(74)【代理人】

【識別番号】110003708

【氏名又は名称】弁理士法人鈴榮特許綜合事務所

(74)【代理人】

【識別番号】100108855

【弁理士】

【氏名又は名称】蔵田 昌俊

(74)【代理人】

【識別番号】100103034

【弁理士】

【氏名又は名称】野河 信久

(74)【代理人】

【識別番号】100179062

【弁理士】

【氏名又は名称】井上 正

(74)【代理人】

【識別番号】100153051

【弁理士】

【氏名又は名称】河野 直樹

(74)【代理人】

【識別番号】100199565

【弁理士】

【氏名又は名称】飯野 茂

(74)【代理人】

【識別番号】100162570

【弁理士】

【氏名又は名称】金子 早苗

(72)【発明者】

【氏名】広浜 雅行

(72)【発明者】

【氏名】加福 滋

【審査官】菊地 陽一

(56)【参考文献】

【文献】特開２０１９－１０１１６８（ＪＰ，Ａ）

【文献】特公昭６３－０３３７１９（ＪＰ，Ｂ２）

【文献】特開平０９－１３４１７３（ＪＰ，Ａ）

【文献】特許第５９４７４３８（ＪＰ，Ｂ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ１０Ｇ １／００

Ｇ１０Ｈ １／００

(57)【特許請求の範囲】

【請求項1】

情報処理装置が、
複数の演奏操作によってなされる演奏に係わる、前記複数の演奏操作の間隔のうち、直近のノートの間隔の最大値及び直近のノートの間隔の平均値のいずれかと、基準値としての判定期間との比較に基づいて前記判定期間を変更するかどうか決定し、
最後のノートオフからの経過時間と決定された前記判定期間との比較に基づいて前記演奏が終了したかどうかを判定し、
前記演奏が終了したと判定した場合、演奏終了後の画像データの出力タイミングを決定する、
処理を実行するためのプログラム。

【請求項2】

前記演奏操作が、テンポの速い曲及びテンポの遅い曲のうちの前記テンポの速い曲の演奏操作であった場合、前記演奏が停止してからの前記演奏の終了後の画像データの出力タイミングが、前記テンポの遅い曲の演奏操作であった場合より早い、
請求項１に記載のプログラム。

【請求項3】

設定期間内に生成又は取得された演奏データの数が閾値に達しない場合に、達した場合よりも前記出力タイミングを遅らせる、
請求項１または２に記載のプログラム。

【請求項4】

情報処理装置が、
複数の演奏操作によってなされる演奏に係わる、前記複数の演奏操作の間隔のうち、直近のノートの間隔の最大値及び直近のノートの間隔の平均値のいずれかと、基準値としての判定期間との比較に基づいて前記判定期間を変更するかどうか決定し、
最後のノートオフからの経過時間と決定された前記判定期間との比較に基づいて前記演奏が終了したかどうかを判定し、
前記演奏が終了したと判定した場合、演奏終了後の画像データの出力タイミングを決定する、
処理を実行するための方法。

【請求項5】

複数の演奏操作によってなされる演奏に係わる、前記複数の演奏操作の間隔のうち、直近のノートの間隔の最大値及び直近のノートの間隔の平均値のいずれかと、基準値としての判定期間との比較に基づいて前記判定期間を変更するかどうか決定し、
最後のノートオフからの経過時間と決定された前記判定期間との比較に基づいて前記演奏が終了したかどうかを判定し、
前記演奏が終了したと判定した場合、演奏終了後の画像データの出力タイミングを決定する、
処理を実行する情報処理装置。

【請求項6】

電子楽器と表示装置を備え、
前記電子楽器が、
複数の演奏操作に応じて生成される演奏データを前記表示装置に送信し、
前記表示装置が、
前記複数の演奏操作によってなされる演奏に係わる、前記複数の演奏操作の間隔のうち、直近のノートの間隔の最大値及び直近のノートの間隔の平均値のいずれかと、基準値としての判定期間との比較に基づいて前記判定期間を変更するかどうか決定し、
最後のノートオフからの経過時間と決定された前記判定期間との比較に基づいて前記演奏が終了したかどうかを判定し、
前記演奏が終了したと判定した場合、演奏終了後の画像データの出力タイミングを決定し、
決定された前記出力タイミングに基づいて、前記画像データを表示する、
処理を実行する画像表示システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、プログラム、方法、情報処理装置、および画像表示システムに関する。

【背景技術】

【0002】

デジタルキーボードをはじめとする電子楽器は、プロセッサおよびメモリを備え、いわば鍵盤付きの組込みコンピュータといえる。ＵＳＢ（Universal Serial Bus）等のインタフェースでタブレット等の情報処理装置に接続し、多様な拡張機能を利用できる機種も知られている。例えば、電子楽器を演奏して発生するＭＩＤＩ（Musical Instrument Digital Interface）データを解析し、演奏とともに変化する動画像や、演奏の内容を反映する静止画像（絵）を作成して表示する技術が開発されている（例えば、特許文献１を参照）。

【0003】

楽器の練習は大変で、途中で飽きてしまって断念する人も多い。上級者だけでなく、楽器演奏の入り口に立っている人達に練習の意欲を高めてもらうためにも、音楽演奏を可視化して、視覚的な効果を創り出す技術に注目が集まっている。非特許文献１にアクセスすればわかるように、この種の技術によれば演奏に伴って動画像がダイナミックに生成／表示されるので、新しい観点から音楽を楽しむことができる。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１９－１０１１６８号公報

【非特許文献】

【0005】

【文献】“Music Tapestry”，[online]，［令和3年5月20日検索］,インターネット，<URL:https://news.mynavi.jp/article/20190724-casio_music_tapestry/>

【発明の概要】

【発明が解決しようとする課題】

【0006】

例えば、演奏を可視化する技術では、演奏中にリアルタイムで表示される動画像（第１画像）と、演奏が終わってから表示されるまとめの画像（第２画像：最終絵）がコンピュータにより生成される。このうち、最終絵を表示するタイミングをどのように決めるかが難しい。現状では、最後のノートオフから一定の時間（判定時間）が経過すると、演奏が終了したと判定して最終絵を表示するようにしていた。しかし、演奏が拙い子供などにとっては次の鍵を探すのに精いっぱいで、打鍵間隔が長くなってしまい、演奏が続いているのに最終絵が出てしまうことがある。

【0007】

一生懸命演奏しているのに途中で終わってしまうと、がっかりする。これを避けるために判定時間を長くとると、演奏を終えてから最終絵が出るまでに待たされることになるので却ってユーザにストレスがかかってしまう。例えばストリートピアノのように不特定多数のユーザが演奏するには、演奏状況に応じて判定時間を適切に設定できることが望ましい。

【0008】

そこで、本発明の目的は、演奏の終了を的確に判定できるようにし、これにより、演奏することをさらに楽しくできるプログラム、方法、情報処理装置、および画像表示システムを提供することにある。

【課題を解決するための手段】

【0009】

上記目的を達成するために、本発明の一実施形態であるプログラムは、情報処理装置が、複数の演奏操作によってなされる演奏に係わる、前記複数の演奏操作の間隔のうち、直近のノートの間隔の最大値及び直近のノートの間隔の平均値のいずれかと、基準値としての判定期間との比較に基づいて前記判定期間を変更するかどうか決定し、最後のノートオフからの経過時間と決定された前記判定期間との比較に基づいて前記演奏が終了したかどうかを判定し、前記演奏が終了したと判定した場合、演奏終了後の画像データの出力タイミングを決定させる。

【発明の効果】

【0010】

本発明によれば、例えば、演奏の終了を的確に判定できるようになり、これにより、演奏することをさらに楽しくできる。

【図面の簡単な説明】

【0011】

【図1】図１は、実施形態に係わる画像表示システムの一例を示す図である。

【図2】図２は、鍵盤楽器にタブレットを組み合わせた画像表示システムの一例を示す図である。

【図3】図３は、実施形態に係るデジタルキーボード１の一例を示すブロック図である。

【図4】図４は、タブレット３の一例を示す機能ブロック図である。

【図5】図５は、タブレット３の処理手順の一例を示すフローチャートである。

【図6】図６は、一つの譜例を示す図である。

【図7】図７は、図６の譜例から作成された第１画像の一例を示す図である。

【図8】図８は、図６の譜例から作成された第２画像の一例を示す図である。

【図9】図９は、図５のステップＳ４における処理手順の一例を示すフローチャートである。

【図10】図１０は、図９のステップＳ４２におけるノート間隔の算出について説明するための図である。

【図11】図１１は、判定期間更新係数αの更新に係わる処理手順の一例を示すフローチャートである。

【発明を実施するための形態】

【0012】

以下、図面を参照して、本発明の実施の形態について説明する。
＜構成＞
図１は、実施形態に係わる画像表示システムの一例を示す模式図である。図１に示される画像表示システムは、ユーザ（演奏者）の演奏に合わせてリアルタイムに画像（絵）を描画する。この種の画像表示システムは、ユーザの演奏を演奏データ（例えばＭＩＤＩデータ）として出力できる電子楽器等から取得した演奏データを解析し、その結果をもとに画像を生成する。

【0013】

図１において、画像表示システムは、電子楽器と、情報処理装置と、ディスプレイ装置と、を含む。
電子楽器は、ユーザの演奏から演奏データ（例えばＭＩＤＩデータ）を生成し、演奏データを情報処理装置に出力する。情報処理装置は、受信した演奏データを解析し、画像データを生成する。情報処理装置は、例えば、タブレットやパーソナルコンピュータ（ＰＣ）である。ディスプレイ装置は、情報処理装置により生成された画像を表示する。

【0014】

図２は、鍵盤楽器にタブレットを組み合わせた画像表示システムの一例を示す図である。このシステムは、デジタルキーボード１と、このデジタルキーボード１に接続可能なタブレット３とを備える。デジタルキーボード１は、例えば、電子ピアノ、シンセサイザー、あるいは電子オルガン等の電子鍵盤楽器である。

【0015】

デジタルキーボード１は、鍵盤に配列される複数の鍵１０に加えて、表示部１４と、操作部１８と、譜面台ＭＳとを備える。図２に示されるように、デジタルキーボード１に接続されたタブレット３を譜面台ＭＳに載置して、楽譜を表示させたり、ユーザインタフェースとして使用したりできる。
鍵１０は、演奏者が音高を指定するための操作子である。演奏者が鍵１０を押鍵／離鍵することで、デジタルキーボード１は、指定された音高に対応する音の発音及び消音を行う。押鍵、および離鍵は演奏操作の一例である。それぞれを個別に演奏操作として捉えることもできるし、押鍵／離鍵のセットで一つの演奏操作としても良い。あるいは押鍵だけを捉えて個別の演奏操作としてカウントしても良いし、離鍵だけを演奏操作としても良い。例えば、演奏データの発生の契機となるイベントを、演奏操作として捉えることができる。演奏データを発生させる行為の全て演奏操作と捉えても良いし、或る特定種別の演奏データ（ノートオン、ノートオフなど）を生じさせる行為だけを演奏操作としても良い。

【0016】

表示部１４は、例えば、タッチパネル付きの液晶モニタ（Liquid Crystal Display：ＬＣＤ）を備え、演奏者の操作部１８の操作に伴うメッセージの表示等を行う。表示部１４がタッチパネル機能を有する場合には、表示部１４は、操作部１８の機能の一端を担うことが可能である。
操作部１８は、演奏者が各種の設定等を行うための操作ボタンやダイヤルなどを有する。ユーザは、操作ボタンやダイヤルなどを操作して、音量調整等の各種の設定操作等を行うことができる。

【0017】

図３は、実施形態に係るデジタルキーボード１の一例を示すブロック図である。デジタルキーボード１は、ＵＳＢインタフェース（Ｉ／Ｆ）１１、ＲＡＭ（Random Access Memory）１２、ＲＯＭ（Read Only Memory）１３、表示部１４、表示コントローラ１５、ＬＥＤ（Light Emitthing Diode）コントローラ１６、鍵盤１７、操作部１８、キースキャナ１９、ＭＩＤＩインタフェース（Ｉ／Ｆ）２０、システムバス２１、ＣＰＵ（Central Processing Unit）２２、タイマ２３、音源２４、デジタル／アナログ（Ｄ／Ａ）コンバータ２５、ミキサ２６、Ｄ／Ａコンバータ２７、音声合成ＬＳＩ２８、および、アンプ２９を備える。ここで、音源２４、および音声合成ＬＳＩ２８は、例えばＤＳＰ（Digital Signal Processor）として実現される。

【0018】

ＣＰＵ２２、音源２４、音声合成ＬＳＩ２８、ＵＳＢインタフェース１１、ＲＡＭ１２、ＲＯＭ１３、表示コントローラ１５、ＬＥＤコントローラ１６、キースキャナ１９、およびＭＩＤＩインタフェース２０は、システムバス２１に接続される。

【0019】

ＣＰＵ２２は、デジタルキーボード１を制御するプロセッサである。すなわちＣＰＵ２２は、ＲＯＭ１３に記憶されたプログラムを、ワーキングメモリとしてのＲＡＭ１２に読み出し、実行して、デジタルキーボード１の各種の機能を実現する。ＣＰＵ２２は、タイマ２３から供給されるクロックに従って動作する。クロックは、例えば自動演奏、自動伴奏のシーケンスを制御するために用いられる。

【0020】

ＲＯＭ１３は、プログラム、各種設定データ、自動伴奏データ等を記憶する。自動伴奏データは、予めプリセットされたリズムパターン、コード進行、ベースパターン、あるいはオブリガード等のメロディデータ等を含んでよい。メロディデータは、各音の音高情報、各音の発音タイミング情報等を含んでよい。

【0021】

各音の発音タイミングは、各発音間の間隔時間でもよく、自動演奏曲の開始時からの経過時間であっても良い。時間の単位にはｔｉｃｋが用いられることが多い。ｔｉｃｋは、一般的なシーケンサで用いられる、曲のテンポを基準とする単位である。例えば、シーケンサの分解能が４８０であれば、４分音符の時間の１／４８０が１ｔｉｃｋとなる。

【0022】

自動伴奏データは、ＲＯＭ１３に限らず、図示しない情報記憶装置や情報記憶媒体に記憶されていても良い。自動伴奏データのフォーマットは、ＭＩＤＩ用のファイルフォーマットに準拠してもよい。

【0023】

表示コントローラ１５は、表示部１４の表示状態を制御するＩＣ（Integated Circuit）である。ＬＥＤコントローラ１６は、例えばＩＣである。ＬＥＤコントローラ１６は、ＣＰＵ２２からの指示により鍵盤１７の鍵を光らせて、演奏者の演奏をナビゲートする。

【0024】

キースキャナ１９は、鍵盤１７の押鍵／離鍵状態、操作部１８のスイッチ操作状態を定常的に監視する。そして、キースキャナ１９は、鍵盤１７、操作部１８の状態をＣＰＵ２２に伝える。

【0025】

ＭＩＤＩインタフェース２０は、ＭＩＤＩ装置４等の外部装置からのＭＩＤＩデータ（演奏データ等）を入力したり、ＭＩＤＩデータを外部装置に出力したりする。デジタルキーボード１は、例えばＵＳＢ（Universal Serial Bus）等のインタフェースを用いて、外部装置とＭＩＤＩデータや楽曲ファイルを授受することが可能である。受信されたＭＩＤＩデータは、ＣＰＵ２２経由で音源２４に渡される。音源２４は、ＭＩＤＩデータで指定された音色、音量（ベロシティ）、タイミング等に従って音を鳴らす。

【0026】

なお、ＭＩＤＩデータ（ＭＩＤＩメッセージ）は、鍵１０に対応する音高番号、音色番号などの情報に加え、ノートオン、ノートオフといったタイミングを表す情報、ベロシティと称する強度情報、あるいは各種の制御情報など、曲の演奏に関するあらゆる情報を表すことができる。

【0027】

音源２４は、例えばＧＭ（General MIDI）規格に準拠する、いわゆるＧＭ音源である。この種の音源は、ＭＩＤＩデータに含まれるＭＩＤＩメッセージとしての、プログラムチェンジを与えることで音色を変更できる。また、コントロールチェンジを与えれば既定のエフェクトを制御することができる。

【0028】

音源２４は、例えば同時に最大で２５６ボイスを発音する能力を有する。音源２４は、例えば波形ＲＯＭ（図示せず）から楽音波形データを読み出し、デジタル楽音波形データとしてＤ／Ａコンバータ２１１に出力される。Ｄ／Ａコンバータ２１１は、デジタル楽音波形データをアナログ楽音波形信号に変換する。

【0029】

音声合成ＬＳＩ２８は、ＣＰＵ２２から、歌詞のテキストデータと音高に関する情報を歌声データとして与えられると、それに対応する歌声の音声データを合成し、Ｄ／Ａコンバータ２５に出力する。Ｄ／Ａコンバータ２５は、音声データをアナログ音声波形信号に変換する。

【0030】

ミキサ２６は、アナログ楽音波形信号、およびアナログ音声波形信号をミックスし、出力信号を生成する。この出力信号はアンプ２９で増幅され、スピーカ、あるいはヘッドフォンアウトなどの出力端子から出力される。

【0031】

タブレット３が、ＵＳＢインタフェース１１経由でシステムバス２１に接続される。タブレット３は、デジタルキーボード１が演奏されることで発生したＭＩＤＩデータ（演奏データ）を、ＵＳＢインタフェース１１経由で取得することができる。

【0032】

さらに、図示しない記憶メディア等も、ＵＳＢインタフェース１１経由でシステムバス２１に接続されても良い。記憶メディアとしては、例えば、ＵＳＢメモリ、フレキシブルディスクドライブ（ＦＤＤ）、ハードディスクドライブ（ＨＤＤ）、ＣＤ－ＲＯＭドライブ及び光磁気ディスク（ＭＯ）ドライブ等が挙げられる。ＲＯＭ１０６にプログラムが記憶されていない場合には、記憶メディアにプログラムを記憶させておき、それをＲＡＭ１０５に読み込むことにより、ＲＯＭ１０６にプログラムを記憶している場合と同様の動作をＣＰＵ１１１に実行させることができる。

【0033】

図４は、タブレット３の一例を示す機能ブロック図である。タブレット３は、可搬型の情報処理装置であり、デジタルキーボード１を用いた演奏を反映する画像を生成して出力するためのアプリケーションがインストールされている。また、タブレット３は、デジタルキーボード１からＭＩＤＩデータを受信して曲データを再生させるシーケンサ等を備えていてもよい。

【0034】

タブレット３は、主に、操作部３１と、表示部３２と、通信部３３と、音出力部３４と、メモリ３５と、制御部３６（ＣＰＵ）と、を備える。各部（操作部３１、表示部３２、通信部３３、音出力部３４、メモリ３５、および制御部３６）は、バス３７で通信可能に接続され、各部間で必要なデータを授受することができる。

【0035】

操作部３１は、例えば、電源のＯＮ／ＯＦＦを行うための電源スイッチ等のスイッチ類を含む。表示部３２は、タッチパネル付きの液晶モニタを備え、画像を表示する。表示部３２はタッチパネル機能も有するので、操作部３１の一端を担うことができる。

【0036】

通信部３３は、他の機器等との間で通信を行うための無線ユニットや有線ユニットを備える。実施形態では、例えばＵＳＢケーブル等を介してデジタルキーボード１に有線接続され、これによりタブレット３は、デジタルキーボード１との間で各種のディジタルデータを授受することができる。
音出力部３４は、スピーカーやイヤホンジャック等を備え、アナログの音声や楽音を再生出力したり、オーディオ信号を出力する。

【0037】

制御部３６は、ＣＰＵ等のプロセッサを備え、タブレット３の制御を司る。制御部３６のＣＰＵは、メモリ３５に記憶されている制御プログラムやインストールされたアプリケーションに従って、各種の処理等を実行する。

【0038】

メモリ３５は、ＲＯＭ４０およびＲＡＭ５０を備える。
ＲＯＭ４０は、例えば、制御部３６が実行するプログラム４１や各種データテーブル等を記憶している。特に、実施形態では、演奏の終了の判定に係わる判定期間ＴがＲＯＭ４０の記憶領域４２に記憶される。

【0039】

ＲＡＭ５０は、プログラム４１を動作させる上で必要なデータを記憶する。またＲＡＭ５０は、制御部３６が作成するデータ、デジタルキーボード１から送られたＭＩＤＩデータ、及び、アプリケーションを展開させるための一時記憶領域等としても機能する。実施形態において、ＲＡＭ５０は、ＭＩＤＩデータを含む演奏データ５０ａに加えて、キャラクタデータ５０ｂ、第１画像データ５０ｃ、および、第２画像データ５０ｄを記憶する。

【0040】

ところで、実施形態において、プログラム４１は、音楽解析ルーチン４１ａ、第１画像作成ルーチン４１ｂ、第２画像作成ルーチン４１ｃ、および、出力制御ルーチン４１ｄを備える。

【0041】

音楽解析ルーチン４１ａは、デジタルキーボード１の演奏に応じて次々に生成される各演奏データを取得し、演奏データ５０ａとしてＲＡＭ５０に記憶させる。また、音楽解析ルーチン４１ａは、演奏データ５０ａに含まれる、主に音高データに基づいて音楽解析を行い、曲の調性（Tonality）、コード種別、音名判定等を行う。

【0042】

なお、音楽解析の手法、あるいは調性やコード種別等を判定するための手法は、特に限定されるものではないが、例えば、特許第３２１１８３９号明細書等に開示された手法を用いることができる。

【0043】

第１画像作成ルーチン４１ｂは、音楽解析の結果に基づいて、演奏中にリアルタイム表示される動画像データを作成する。作成された動画像データは、第１画像データ５０ｃとしてＲＡＭ５０に一時記憶されたのち、直ちに読み出されて表示部３２に表示される。

【0044】

第２画像作成ルーチン４１ｃは、音楽解析の結果に基づいて、演奏の終了後にまとめとして表示される静止画像を作成する。作成された静止画像の動画像データは、第２画像データ５０ｄとしてＲＡＭ５０に一時記憶されたのち、適切なタイミングで出力されて（読み出されて）表示部３２に表示される。

【0045】

出力制御ルーチン４１ｄは、デジタルキーボード１からの各演奏データが生成されたタイミング、または、演奏データが取得された各タイミングの間隔に基づいて、第２画像データを出力するタイミングを決定する。

【0046】

＜作用＞
次に、上記構成における作用を説明する。以下では、タブレット３がデジタルキーボード１に、通信可能に接続されているとして説明する。また、画像をタブレット３の表示部３２（図４）に表示させるためのアプリケーションがタブレット３で起動されているとする。

【0047】

図５は、タブレット３の処理手順の一例を示すフローチャートである。図５において、タブレット３の制御部３６（ＣＰＵ）は、デジタルキーボード１からの演奏データの入力を待ち受ける（ステップＳ１）。ステップＳ１で演奏データの入力があれば（ＹＥＳ）、制御部３６は、演奏判定処理を実行する（ステップＳ２）。ステップＳ２において、制御部３６は、取得した演奏データに基づき、例えば、演奏されている曲の調（例えば、ハ長調～ロ短調の２４種類）の判定、コード種別（例えば、Ｍａｊｏｒ、ｍｉｎｏｒ、ｓｕｓ４、ａｕｇ、ｄｉｍ、７ｔｈ等）の判定、拍などを判定する。ここで得られた判定結果は、第１画像に反映される。

【0048】

図６は、一つの譜例を示す図である。例えば図６のような演奏が行われると、図７に示されるように、ドレミファ…の順に、花（１）、葉（２）、てんとう虫（３）、蝶々（４）、のキャラクターが次々に配置され、第１画像となる。演奏の終了が判定されると、図８に示されるように各キャラクターが例えばらせん状の軌道の上に配置され、第２画像になる。
図５に戻って説明を続ける。制御部３６は、演奏判定処理の結果に基づいて第１画像を生成し、表示部３２に出力する（ステップＳ３）。

【0049】

次に、制御部３６は、演奏判定処理の結果に基づいて、判定期間Ｔを更新する処理を行う（ステップＳ４）。
図９は、ステップＳ４における処理手順の一例を示すフローチャートである。ステップＳ４の判定期間更新処理が呼び出されると、ソフトウェア割り込みがかかる。そうすると制御部３６は、先ず、判定期間Ｔに初期値Ｔ０をセットする（ステップＳ４１）。初期値Ｔ０としては、例えば５秒が設定される。次に制御部３６は、直近のノート間隔の最大値Ｔｍａｘを算出する（ステップＳ４２）。つまりこのステップにおいて、制御部３６は、最新のノートオン時刻から遡ってＸ個（例えば４個）の音のノートオン時刻を取得し、それぞれの時間間隔を算出してその最大値Ｔｍａｘを求める。

【0050】

次に制御部３６は、判定期間ＴとＴｍａｘとを比較し（ステップＳ４３）、ＴがＴｍａｘより小さい（Ｔ＜Ｔｍａｘ）がＦＡＬＳＥであれば（ＮＯ）、つまり直近のノート間隔で判定期間Ｔを超えるものが無ければ、Ｔ＝Ｔ０のままで（ステップＳ４４）処理手順は呼び出し元に戻る（リターン）。

【0051】

一方、ステップＳ４３で（Ｔ＜Ｔｍａｘ）がＴＲＵＥであれば（ＹＥＳ）、つまり直近のノート間隔で判定期間Ｔを超えるものがあれば、Ｔｍａｘに判定期間更新係数αを乗算したものをＴに代入し（ステップＳ４５）、処理手順は呼び出し元に戻る（リターン）。ここで、係数αの値としては１．１を採用することができ、これはすなわち、判定期間Ｔをデフォルトよりも長くすることに相当する。また、係数αの値は、演奏の状況に応じて異なる値に更新される。

【0052】

図５に戻って説明を続ける。ステップＳ１で演奏データの入力が無い場合（ＮＯ）、または、ステップＳ４が終了すると、制御部３６は、終了判定を行う（ステップＳ５）。実施形態において、終了判定は、基準値としての判定期間Ｔと、最後のノートオフからの経過時間とを比較することにより行われる。すなわち、最後のノートオフからの経過時間が判定期間Ｔよりも長くなると、演奏が終了したことが判定されて（ＹＥＳ）となる。ステップＳ５でＮＯであれば、ＹＥＳ判定となるまで、処理手順は再びステップＳ１に戻る。

【0053】

演奏中はステップＳ１～ステップＳ５の処理が繰り返され、やがて演奏が終了するとステップＳ５でＹＥＳになる。そうすると、制御部３６は、蓄積された演奏データ５０ａの解析結果を反映する第２画像を作成し、表示部３２に表示出力する（ステップＳ６）。

【0054】

図１０は、図９のステップＳ４２におけるノート間隔の算出について説明するための図である。実施形態において、「ノート間隔」は、ひとつ前のノートオンから次のノートオンまでの期間を意味する。このとき、時間的に重なりのある音（ノート）は、ひとかたまりの音（ノート）として取り扱う。

【0055】

例えば、コード弾きのように複数の鍵をまとめて押鍵する場合、厳密には各件のノートオン時刻は僅かにずれることが多い。図１０のように、Ｃ，Ｅ，Ｇを構成音とするＣコードのＣ音、Ｅ音、Ｇ音がわずかにずれていたとしても、ずれ量が既定値以内であれば、これらをひとかたまりにし、ノートオン、ノートオフの発生をそれぞれ１回とカウントする。例えば、ひとかたまりのうち最初のノートの押鍵時刻をノートオンとし、最後の音の離鍵時刻をノートオフとする。そして、次のノートのノートオンまでを、ノート間隔とする。一つの音のノートオンは、文字通りその音の押鍵時刻としてカウントできる。

【0056】

図１１は、第２画像データの出力タイミングを決定する基準値としての、判定期間更新係数αの更新に係わる処理手順の一例を示すフローチャートである。図１１において、制御部３６は、現在の時点から過去数秒間（例えば８秒間）のノート数Ｎをカウントし（ステップＳ７）、予め定められた閾値Ｎ１（例えば５個）と比較する（ステップＳ８）。Ｎが閾値Ｎ１よりも多ければ（ＹＥＳ）、αに１．１が代入される（ステップＳ１０）。一方、Ｎが閾値Ｎ１以下であれば（ＮＯ）、１．１よりも大きな値、例えば１．５がαに代入される（ステップＳ９）。

【0057】

ステップＳ８において、過去数秒間分の演奏で生じたノート数が少ないことが判定されると、このことは、演奏が不安定だったり、ゆっくり演奏している可能性が高いことを意味する。そこで、このような場合には判定期間Ｔが長くなるように、αを大きめの値にセットする。逆に、過去数秒間分のノート数が多ければ、αを小さい値にセットする。

【0058】

すなわち、制御部３６は、設定期間内に生成又は取得された演奏データの数が閾値に達しない場合に、演奏データの数が閾値に達した場合よりも、第２画像データの出力タイミングを遅らせる。なお、閾値のランクはＮ１だけでなく、Ｎ１，Ｎ２，Ｎ３．．．というように複数の値を設定し、何段階かに分けてαを徐々に変化させてもよい。

【0059】

＜効果＞
以上述べたように、実施形態では、演奏データを音楽解析した結果に基づき、第２画像を出力するタイミングを演奏ごとに制御するようにした。例えばテンポの速い曲を演奏している場合は、テンポの遅い曲を演奏している場合よりも、演奏の停止から早いタイミングで第２画像が出力される。逆に、初心者がスローテンポでゆっくり弾いている場合には、演奏の停止から第２画像が表示されるまでの時間が長くなる。

【0060】

このようにしたので、固定的なタイミングでなく、演奏の終了後の良好なタイミングに、第２画像を出力することが可能になる。つまり、演奏が終了していないのに最終絵が出てしまったり、逆に、演奏が終わっても最終絵がなかなか出てこないといった、興ざめするようなことが起こらないようにできる。

【0061】

すなわち、実施形態によれば、演奏の終了を的確に判定することができるようになる。従って、音楽演奏を可視化する技術の体験価値を向上させ、ユーザの練習意欲が削がれることなく、楽器を演奏したり、練習したりすることがさらに楽しくなるプログラム、電子機器、方法、および画像表示システムを提供することが可能になる。

【0062】

なお、この発明は上記実施形態に限定されるものではない。

【0063】

＜変形例１＞
演奏の安定性をある程度見込める場合、図９のステップＳ４２において直近のノート間隔の最大値ではなく、平均値を用いてもよい。

【0064】

＜変形例２＞
ステップＳ４２における所定時間の更新判定の条件として、直近のノート間隔の最大値（または平均値）に代えて、演奏の不安定さの指標を用いても良い。指標としては、非音楽的判定の結果、あるいはテンポの不安定さなどを用いてもよい。

【0065】

例えば、音楽解析によりコードを判定できない場合（判定に失敗した場合）、コードを判定できない回数が規定数を超えた場合、あるいは、隣接する白鍵の５鍵以上の同時押しの検出など、ほぼ同時のタイミングに検出される音高データの組み合わせや、一定の時間長の間に何度も検出される音高データの組み合わせなどにより、演奏操作が非音楽的であることを判定することができる。

【0066】

例えば、非音楽的判定を用いるならば、判定期間Ｔの更新について「直近の数拍（例えば８拍）以内に非音楽的判定が指定回数（例えば３回）以上生じた場合」という条件（条件Ａ）を考えることができる。
この条件Ａと、ステップＳ４２の「直近のノート間隔の演算値による判定（条件Ｂ）」の論理積（ＡＮＤ）を取り、これが真値をとる場合に判定期間Ｔを更新すればよい。

【0067】

＜変形例３＞
より直接的に、曲のテンポを演奏終了判定の条件とするならば、以下が考えられる。すなわち、制御部３６により、デジタルキーボード１から取得された演奏データに基づいて、演奏のテンポを判定する。そして、判定されたテンポが第１テンポより遅い第２テンポの場合に、第１テンポの場合に決定される出力タイミングより、第２テンポの場合に決定される出力タイミングが遅くなるように、第２画像データの出力タイミングを決定する。

【0068】

＜変形例４＞
さらに直接的に演奏終了を判定する形態として、演奏者の動作を確認する手法もある。つまり、演奏者の動作を検出可能なカメラ等を設置し、例えば椅子から立ち上がったことを判定することで、最後のノートオフから経過した時間に拠らず最終絵（第２画像）を表示するようにしてもよい。

【0069】

すなわち本実施例では、情報処理装置（表示装置）３のプロセッサ３６が、ユーザによる電子楽器１の鍵盤１７への第１演奏操作と第２演奏操作との間隔に基づいて、演奏の終了後に出力するデータの出力タイミングを決定する。この間隔は、一実施例として、電子楽器１側での第１演奏操作に応じて情報処理装置３側で取得されるノートデータの取得タイミングと、電子楽器１側での第１演奏操作後の第２演奏操作に応じて情報処理装置３側で取得されるノートデータの取得タイミングと、に基づいて算出される。すなわち、第１演奏操作と第２演奏操作との間隔は、どのような手法で算出してもよい。

【0070】

以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲のとおりである。
［付記］
＜請求項１＞
情報処理装置が、
第１演奏操作と第２演奏操作との間隔に基づいて、演奏の終了後に出力するデータの出力タイミングを決定する、
処理を実行するためのプログラム。
＜請求項２＞
前記演奏の終了後に出力するデータは、画像データを含む、
請求項１に記載のプログラム。
＜請求項３＞
前記出力タイミングを決定する基準値を有し、
前記間隔に基づいて、前記基準値を変更する、
請求項１または２のいずれかに記載のプログラム。
＜請求項４＞
少なくとも前記第１演奏操作に基づいて生成される第１演奏データと、前記第２演奏操作に基づいて生成される第２演奏データとに基づいて、テンポを判定し、
判定された前記テンポが第１テンポより遅い第２テンポの場合に、前記第１テンポの場合に決定される出力タイミングより前記第２テンポの場合に決定される出力タイミングが遅くなるように、前記出力タイミングを決定する、
請求項１乃至３のいずれかに記載のプログラム。
＜請求項５＞
前記演奏が音楽的に適切であるか否かを判定し、
音楽的に適切であるか否かの判定結果に基づいて、前記出力タイミングを決定する、
請求項１乃至４のいずれかに記載のプログラム。
＜請求項６＞
設定期間内に生成又は取得された演奏データの数が閾値に達しない場合に、達した場合よりも前記出力タイミングを遅らせる、
請求項１乃至５のいずれかに記載のプログラム。
＜請求項７＞
情報処理装置が、
第１演奏操作と第２演奏操作との間隔に基づいて、演奏の終了後に出力するデータの出力タイミングを決定する、
処理を実行するための方法。
＜請求項８＞
第１演奏操作と第２演奏操作との間隔に基づいて、演奏の終了後に出力するデータの出力タイミングを決定する、
処理を実行する情報処理装置。
＜請求項９＞
電子楽器と表示装置を備え、
前記電子楽器が、
演奏に応じて次々に演奏データを生成し、
生成した前記演奏データを前記表示装置に送信し、
前記表示装置が、
前記各演奏データを取得し、
取得された前記演奏データに基づいて、演奏の終了後に出力する画像データの出力タイミングを決定し、
決定された前記出力タイミングに基づいて、前記画像データを表示する、
処理を実行する画像表示システム。

【符号の説明】

【0071】

１…デジタルキーボード、３…タブレット、４…ＭＩＤＩ装置、１０…鍵、１１…ＵＳＢインタフェース、１２…ＲＡＭ、１３…ＲＯＭ、１４…表示部、１５…表示コントローラ、１６…ＬＥＤコントローラ、１７…鍵盤、１８…操作部、１９…キースキャナ、２０…ＭＩＤＩインタフェース、２１…システムバス、２２…ＣＰＵ、２３…タイマ、２４…音源、２５，２７…Ｄ／Ａコンバータ、２６…ミキサ、２９…アンプ、３１…操作部、３２…表示部、３３…通信部、３４…音出力部、３５…メモリ、３６…制御部、３７…バス、４０…ＲＯＭ、４１…プログラム、４１ａ…音楽解析ルーチン、４１ｂ…第１画像作成ルーチン、４１ｃ…第２画像作成ルーチン、４１ｄ…出力制御ルーチン、４２…記憶領域、５０…ＲＡＭ、５０ａ…演奏データ、５０ｂ…キャラクタデータ、５０ｃ…第１画像データ、５０ｄ…第２画像データ、１０５…ＲＡＭ、１０６…ＲＯＭ、１１１…ＣＰＵ、２１１…Ｄ／Ａコンバータ。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】