(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-08-15
(45)【発行日】2023-08-23
(54)【発明の名称】情報処理装置、方法、及びプログラム
(51)【国際特許分類】
G10G 1/00 20060101AFI20230816BHJP
【FI】
G10G1/00
(21)【出願番号】P 2019042698
(22)【出願日】2019-03-08
【審査請求日】2022-02-09
(73)【特許権者】
【識別番号】000001443
【氏名又は名称】カシオ計算機株式会社
(74)【代理人】
【識別番号】100095407
【氏名又は名称】木村 満
(72)【発明者】
【氏名】加福 滋
(72)【発明者】
【氏名】奥田 広子
(72)【発明者】
【氏名】梅村 高
【審査官】大野 弘
(56)【参考文献】
【文献】特開2008-233576(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G10G 1/00
(57)【特許請求の範囲】
【請求項1】
入力インターフェースと、
出力インターフェースと、
少なくとも一つのプロセッサと、を備え、
前記少なくとも一つのプロセッサは
、
演奏開始タイミング及
び演奏終了タイミングに基づい
た演奏時間に応じた長さを有する
渦巻の軌跡
に沿って複数のイラストを配置するとともに、前記入力インターフェースから入力される複数の演奏情報に基づいたベロシティ情報に応じて前記渦巻の軌跡の大きさを変化するよう、前記複数のイラスト
が前記
渦巻の軌跡に沿って配置される画像を表示するための情報を、前記出力インターフェースから出力する、
情報処理装置。
【請求項2】
入力インターフェースと、
出力インターフェースと、
少なくとも一つのプロセッサと、を備え、
前記少なくとも一つのプロセッサは、
演奏開始タイミング及び演奏終了タイミングに基づいた演奏時間に応じた長さを有する渦巻の軌跡に沿って複数のイラストを配置するとともに、前記入力インターフェースから入力される複数の演奏情報に基づいた演奏のリズムに応じて前記渦巻の軌跡の形状を変形するよう、前記複数のイラストが前記渦巻の軌跡に沿って配置される画像を表示するための情報を、前記出力インターフェースから出力する、
情報処理装置。
【請求項3】
前記少なくとも一つのプロセッサは、
前記演奏時間が第1時間長のときに決定する前記軌跡の長さは、前記演奏時間が前記第1時間長より長い第2時間長のときに決定する前記軌跡の長さより短くなるように、前記軌跡を決定する、
請求項1
又は2に記載の情報処理装置。
【請求項4】
前記演奏情報はベロシティ情報を含み、
前記少なくとも一つのプロセッサは、
受け付けた前記演奏情報に含まれる前記ベロシティ情報に応じて、演奏の力強さを判定し、
判定された前記演奏の力強さに応じて、前記渦巻の軌跡の大きさを変化させる、
請求項
2に記載の情報処理装置。
【請求項5】
前記少なくとも一つのプロセッサは、
受け付けた前記演奏情報から演奏のリズムを判定し、
判定された前記演奏のリズムに応じて、前記渦巻の軌跡の形状を変形させる、
請求項
1に記載の情報処理装置。
【請求項6】
前記演奏情報は音高情報を含み、
前記少なくとも一つのプロセッサは、
受け付けた前記演奏情報に含まれる前記音高情報から調性を判定し、
前記軌跡に沿って表示する色を、判定された前記調性に応じて変化させる、
請求項1から5のいずれか1項に記載の情報処理装置。
【請求項7】
入力インターフェースと、出力インターフェースと、を備える情報処理装置のコンピュータに
、
演奏開始タイミング及
び演奏終了タイミングに基づい
た演奏時間に応じた長さを有する
渦巻の軌跡
に沿って複数のイラストを配置させるとともに、前記入力インターフェースから入力される複数の演奏情報に基づいたベロシティ情報に応じて前記渦巻の軌跡の大きさを変化させるよう、前記複数のイラスト
が前記
渦巻の軌跡に沿って配置される画像を表示するための情報を、前記出力インターフェースから出力させる、
方法。
【請求項8】
入力インターフェースと、出力インターフェースと、を備える情報処理装置のコンピュータに、
演奏開始タイミング及び演奏終了タイミングに基づいた演奏時間に応じた長さを有する渦巻の軌跡に沿って複数のイラストを配置させるとともに、前記入力インターフェースから入力される複数の演奏情報に基づいた演奏のリズムに応じて前記渦巻の軌跡の形状を変形させるよう、前記複数のイラストが前記渦巻の軌跡に沿って配置される画像を表示するための情報を、前記出力インターフェースから出力させる、
方法。
【請求項9】
入力インターフェースと、出力インターフェースと、を備える情報処理装置のコンピュータに
、
演奏開始タイミング及
び演奏終了タイミングに基づい
た演奏時間に応じた長さを有する
渦巻の軌跡
に沿って複数のイラストを配置させるとともに、前記入力インターフェースから入力される複数の演奏情報に基づいたベロシティ情報に応じて前記渦巻の軌跡の大きさを変化させるよう、前記複数のイラスト
が前記
渦巻の軌跡に沿って配置される画像を表示するための情報を、前記出力インターフェースから出力させる、
プログラム。
【請求項10】
入力インターフェースと、出力インターフェースと、を備える情報処理装置のコンピュータに、
演奏開始タイミング及び演奏終了タイミングに基づいた演奏時間に応じた長さを有する渦巻の軌跡に沿って複数のイラストを配置させるとともに、前記入力インターフェースから入力される複数の演奏情報に基づいた演奏のリズムに応じて前記渦巻の軌跡の形状を変形させるよう、前記複数のイラストが前記渦巻の軌跡に沿って配置される画像を表示するための情報を、前記出力インターフェースから出力させる、
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、方法、及びプログラムに関する。
【背景技術】
【0002】
特許文献1には、画像の動きを制御するための動作パラメータを参照しつつ、楽曲に対応する楽音制御情報及び同期信号に応答して画像各部の動作を逐次制御し、音楽モジュールによる楽音生成の進行に同期して動く画像を生成する楽音応答画像生成システムが開示されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1に開示された楽音応答画像生成システムでは、音楽の演奏に同期して画像オブジェクトを動かしている。この方法では、リアルタイムで演奏に追従した表現を行うことはできても、演奏全体に適合した表現を行うことは難しいという課題があった。
【0005】
本発明は上記の課題に鑑みてなされたものであって、演奏全体を視覚的に表現することが可能な情報処理装置、方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
上記目的を達成するため、本発明に係る情報処理装置の一態様は、
入力インターフェースと、
出力インターフェースと、
少なくとも一つのプロセッサと、を備え、
前記少なくとも一つのプロセッサは、
演奏開始タイミング及び演奏終了タイミングに基づいた演奏時間に応じた長さを有する渦巻の軌跡に沿って複数のイラストを配置するとともに、前記入力インターフェースから入力される複数の演奏情報に基づいたベロシティ情報に応じて前記渦巻の軌跡の大きさを変化するよう、前記複数のイラストが前記渦巻の軌跡に沿って配置される画像を表示するための情報を、前記出力インターフェースから出力する、
ことを特徴とする。
【発明の効果】
【0007】
本発明によれば、演奏全体を視覚的に表現することが可能な情報処理装置、方法、及びプログラムを提供できる。
【図面の簡単な説明】
【0008】
【
図1】実施の形態1に係る情報処理装置を載置した電子楽器の平面図である。
【
図2】実施の形態1の情報処理装置の構成を示すブロック図である。
【
図3】実施の形態1の軌跡生成部が生成する軌跡に含まれる渦巻線を示す図である。
【
図4】実施の形態1において演奏時間(A)15秒、(B)30秒、(C)45秒の楽曲について軌跡生成部が生成する軌跡と画像情報出力部が生成する画像とを示す図である。
【
図5】実施の形態1の電子楽器の構成を示すブロック図である。
【
図6】実施の形態1に係る情報処理装置が実行する画像出力処理のフローチャートである。
【
図7】実施の形態2の軌跡生成部が(A)演奏の力強さが小さい場合、(B)演奏の力強さが大きい場合に生成する軌跡に含まれる渦巻線を示す図である。
【
図8】実施の形態2に係る情報処理装置が実行する画像出力処理のフローチャートである。
【
図9】実施の形態3の軌跡生成部が(A)演奏のリズムが規則的な場合、(B)演奏のリズムが不規則な場合に生成する軌跡に含まれる渦巻線を示す図である。
【
図10】実施の形態3に係る情報処理装置が実行する画像出力処理のフローチャートである。
【
図11】実施の形態4に係る情報処理装置が実行する画像出力処理のフローチャートである。
【
図12】変形例の軌跡生成部が生成する軌跡に含まれる線を示す図である。
【発明を実施するための形態】
【0009】
(実施の形態1)
実施の形態1に係る情報処理装置100について、図面を参照して説明する。なお、図中同一又は相当する部分には同一符号を付す。
【0010】
図1は、情報処理装置100を載置した電子楽器200の平面図である。
図1に示すように、実施の形態1に係る情報処理装置100は、電子楽器200に接続され電子楽器200を用いて演奏された楽曲を視覚的に表現した映像を表示する装置である。情報処理装置100は、例えばパーソナルコンピュータ、タブレット端末、スマートフォンを含むが、これに限られるものではない。情報処理装置100と電子楽器200とは、電子楽器システム1を構成する。
【0011】
図2は、情報処理装置100の構成を示すブロック図である。
図2に示すように、情報処理装置100は、プロセッサ110と、入力インターフェース120と、出力インターフェース130と、表示装置140と、操作装置150と、RAM(Random Access Memory)160と、ROM(Read Only Memory)170と、を備える。
【0012】
プロセッサ110は、プログラムを実行することにより情報処理装置100を制御する処理装置である。プロセッサ110は、ROM170に記憶されたプログラム及びデータを読み出し、RAM160を作業領域として用いる。プロセッサ110はCPU(Central Processing Unit)を含むが、これに限られるものではない。
【0013】
入力インターフェース120は、電子楽器200に接続され、演奏情報の入力を受け付けるインターフェースである。入力インターフェース120は、受け付けた演奏情報をプロセッサ110に伝達する。入力インターフェース120は、例えばMIDI(Musical Instrument Digital Interface)規格に準拠した演奏情報を受け付け、MIDI規格に準拠した構造を有するが、演奏情報の規格及び入力インターフェース120の構成はこれに限られるものではない。
【0014】
演奏情報は典型的にはMIDIメッセージであり、演奏情報に含まれる要素としてそれぞれの音高に対するノートオフ又はノートオンの命令及びそのベロシティ情報(ベロシティ値)、音量・音質・音色を制御する命令があるが、演奏情報及び演奏情報に含まれる要素はこれに限られるものではない。
【0015】
出力インターフェース130は、プロセッサ110から取得した画像を表示させるための情報(画像情報)を、表示装置140に出力するインターフェースである。画像情報は、電子楽器200を用いて演奏された楽曲を視覚的に表現した映像である。
【0016】
表示装置140は、出力インターフェース130から取得した画像情報に基づき、画像を表示する表示装置である。表示装置140は、例えば液晶パネル、有機EL(Electro Luminescence)パネルを含むが、これに限られるものではない。
【0017】
操作装置150は、ユーザによる操作を受け付け、操作内容を示す入力信号をプロセッサ110に伝達する入力装置である。操作装置150は、例えばキーボード、マウス、タッチパッド、ボタン、スライダーを含むが、これに限られるものではない。
【0018】
RAM160は、プロセッサ110が処理を実行するための作業領域として機能する揮発性メモリである。
【0019】
ROM170は、プロセッサ110が処理を実行するために用いるプログラム及びデータを記憶する記憶装置である。ROM170は、フラッシュメモリ、EPROM(Erasable Programmable ROM)、EEPROM(Electrically Erasable Programmable ROM)を含むが、これに限られるものではない。
【0020】
実施の形態1に係る情報処理装置のプロセッサ110の機能構成について説明する。
【0021】
プロセッサ110は、RAM160に記憶プログラム及びデータを読み出して実行することにより、演奏判定部111、軌跡生成部112、及び画像情報出力部113として機能する。
【0022】
演奏判定部111は、入力インターフェース120を介して電子楽器200から第1演奏情報を受け付け、第1演奏情報を受け付けたタイミングを演奏開始タイミングとして取得し、RAM160に保存する。第1演奏情報は演奏情報に含まれる。
【0023】
演奏判定部111は、演奏情報を或る時間受け付けない、及び入力インターフェース120を介して電子楽器200から演奏終了を示す情報を受け付けた、のいずれかのタイミングを演奏終了タイミングとして取得し、RAM160に保存する。或る時間とは例えば5秒間であるが、これに限られるものではない。
【0024】
演奏判定部111は、RAM160に保存した演奏開始タイミングと演奏終了タイミングとに基づいて、演奏時間を算出する。具体的には、演奏判定部111は、演奏開始タイミングと演奏終了タイミングとの差を演奏時間として算出する。
【0025】
演奏判定部111は、入力インターフェース120を介して電子楽器200から演奏情報を受け付けると、それぞれの演奏情報に対して演奏情報に応じてROM170に記憶されたイラストを対応付ける。演奏判定部111は、例えばROM170に記憶された演奏情報に含まれる音高とイラストとを対応付けるテーブルに従って演奏情報にイラストを対応付けるが、これに限られるものではなく、演奏情報に含まれる音の強さ又は音の長さとイラストとを対応付けても良い。
【0026】
軌跡生成部112は、それぞれの演奏情報に対応付けたイラストを配置する演奏の軌跡を生成する。軌跡生成部112は、演奏判定部111が算出した演奏時間に基づいて演奏の軌跡の長さを決定する。例えば、演奏時間が第1演奏時間長の場合の軌跡の長さである第1長と、演奏時間が第2演奏時間長の場合の軌跡の長さである第2長とについて、第1演奏時間長が第2演奏時間長よりも短い場合、第1長は第2長よりも短くなる。
【0027】
軌跡生成部112は、以下の式(1)-(4)に従い、点(x(n),y(n))のn=0,1,…,P-1の集合として軌跡を生成する。ここで、(x0,y0)は原点の座標、Pは描画ポイント数を示す定数、Aは軌跡の長さを示す定数である。
th=A×n/(P-1) (1)
rr=(P-n)/P (2)
x(n)=(x0+cos(th)×rr)×P (3)
y(n)=(y0+sin(th)×rr)×P (4)
【0028】
軌跡生成部112は、式(1)のAを演奏判定部111が算出した演奏時間に従って変化させることで、軌跡の長さを変化させる。
【0029】
図3は、軌跡生成部112が生成する軌跡に含まれる渦巻線を示す図である。
図3に示すように、軌跡生成部112は、式(1)-(4)に従い原点に近づく渦巻線状の軌跡を生成する。なお、
図3において、(x
0,y
0)=(0,0)、P=100、A=20である。
【0030】
画像情報出力部113は、軌跡生成部112が生成した軌跡上に軌跡生成部112が演奏情報について対応付けたイラストを配置して画像を生成し、画像を表示するための情報である画像情報を生成する。
【0031】
図4(A),(B),(C)は、軌跡生成部112が生成する軌跡と、画像情報出力部113が生成する画像とを示す図である。軌跡生成部112が生成する軌跡は図の左側に、画像情報出力部113が生成する画像はずの右側に、それぞれ記載されている。
図4(A),(B),(C)は演奏時間がそれぞれ15秒、30秒、45秒の演奏に基づいて生成された軌跡及び画像である。
図4(A),(B),(C)に示すように、軌跡上に演奏情報について対応付けられたイラストがそれぞれ配置される。なお、
図4(A),(B),(C)においては、軌跡生成部112渦巻線に直線を追加した軌跡を生成している。
【0032】
図4(A),(B)を参照して、演奏時間がそれぞれ15秒(第1時間長)、30秒(第2時間長)における軌跡を比較し、軌跡の長さをそれぞれ第1長さ、第2長さとすると、(第1長さ)<(第2長さ)である。
図4(B),(C)を参照して演奏時間30秒、45秒について比較しても同様である。即ち、演奏時間が長くなるにつれて渦巻線状の軌跡は長くなる。
【0033】
画像情報出力部113は、生成した画像情報を、出力インターフェース130を介して表示装置140に出力する。
【0034】
実施の形態1に係る情報処理装置100に接続される電子楽器200について説明する。電子楽器200は、電子ピアノ、シンセサイザー、電子オルガンを含む電子鍵盤楽器である。
【0035】
図5は、電子楽器200の構成を示すブロック図である。
図5に示すように、電子楽器200は、プロセッサ210と、鍵220と、押鍵検出装置230と、スピーカ240と、操作装置250と、通信装置260と、譜面台270と、を備える。
【0036】
プロセッサ210は、プログラムを実行することにより電子楽器200を制御する処理装置である。プロセッサ210は、図示しないROMに記憶されたプログラム及びデータを読み出し、図示しないRAMを作業領域として用いる。プロセッサ210は制御LSI(Large Scale Integration)を含み得るが、これに限られるものではない。
【0037】
プロセッサ210は、押鍵検出装置230から押鍵情報を取得し、スピーカ240を制御して、取得した押鍵情報に含まれる鍵220の位置に応じた音高、押鍵された長さに応じた長さ、押鍵された強さに応じた大きさで音を出力させる。
【0038】
プロセッサ210は、押鍵検出装置230から取得した押鍵情報に基づいて演奏情報を生成し、通信装置260を介して情報処理装置100に演奏情報を送信する。
【0039】
鍵220は、電子楽器200が発音する音の音高、強さ、長さを指定する操作子である。ユーザは鍵220を操作し、押鍵する鍵220の位置、押鍵する強さ、及び押鍵する長さを変化させることによって、それぞれ演奏する音の音高、音の強さ、音の長さを決定する。
【0040】
押鍵検出装置230は、ユーザによる鍵220の押鍵を検出する検出装置である。押鍵検出装置230は、ユーザによって押鍵された鍵220の位置、押鍵及び離鍵された時刻、押鍵された強さを検出し、押鍵情報としてプロセッサ210に伝達する。押鍵検出装置230は鍵220の下部に鍵220に接触して設けられる。押鍵検出装置230は例えばラバースイッチを含むが、これに限られるものではない。
【0041】
スピーカ240は、プロセッサ210から伝達された音データを音に変換して出力する出力装置である。スピーカ240は図示しないアンプを含む。
【0042】
操作装置250は、ユーザによる入力を受け付け、操作内容を示す入力信号をプロセッサ210に電津する入力装置である。操作装置250は、例えばユーザによる音量、音色又は音質を設定する入力、演奏開始又は演奏終了を示す入力を受け付ける。操作装置250はボタン、スライダーを含むが、これに限られるものではない。
【0043】
通信装置260は、情報処理装置100に接続して通信を行うインターフェースである。通信装置260はMIDI規格に準拠したインターフェースを含み、情報処理装置100に接続されて演奏情報、演奏開始を示す情報、又は演奏終了を示す情報を情報処理装置100に送信する。
【0044】
譜面台270は、演奏者が譜面を載置する台である。本実施の形態においては、譜面台270には情報処理装置100が載置されている。
【0045】
実施の形態1に係る情報処理装置100が実行する画像出力処理について説明する。
図6は、情報処理装置100が実行する画像出力処理のフローチャートである。画像出力処理について、
図6のフローチャートを参照して説明する。
【0046】
情報処理装置100のプロセッサ110は、出力インターフェース130を介して画像出力処理の開始を示す操作入力を受け付けると、画像出力処理を開始する。
【0047】
演奏判定部111は、入力インターフェース120を介して電子楽器200から第1演奏情報を受け付け、演奏開始タイミングを取得し、RAM160に保存する(ステップS101)。
【0048】
演奏判定部111は、入力インターフェース120を介して電子楽器200から演奏情報を受け付けると、受け付けた演奏情報にイラストを対応付ける(ステップS102)。
【0049】
演奏判定部111は、入力インターフェース120を介して電子楽器200から演奏終了を示す情報を受け付けたかどうか判断する(ステップS103)。受け付けたと判断した場合(ステップS103:YES)、ステップS105に進む。
【0050】
受け付けていないと判断した場合(ステップS103:NO)、演奏判定部111は、演奏情報を受け付けずに或る時間経過したかどうか判断する(ステップS104)。経過したと判断した場合(ステップS104:YES)、ステップS105に進む。時間経過する前に演奏情報を受け付けた場合(ステップS104:NO)ステップS102に戻る。
【0051】
演奏判定部111は、演奏情報を或る時間受け付けない、又は入力インターフェース120を介して電子楽器200から演奏終了を示す情報を受け付けた場合、演奏終了タイミングを取得し、RAM160に保存する(ステップS105)。
【0052】
演奏終了タイミングを取得すると、演奏判定部111は、RAM160に保存した演奏開始タイミングと演奏終了タイミングとに基づいて、演奏時間を算出する(ステップS106)。
【0053】
演奏時間を算出すると、軌跡生成部112が、演奏時間に基づいた長さの軌跡を生成する(ステップS107)。
【0054】
軌跡を生成すると、画像情報出力部113は、軌跡生成部112が生成した軌跡上に軌跡生成部112が演奏情報について対応付けたイラストを配置し、画像情報を生成する(ステップS108)。
【0055】
画像情報を生成すると、画像情報出力部113は、生成した画像情報を、出力インターフェース130を介して表示装置140に出力し(ステップS109)、画像出力処理を終了する。
【0056】
以上の構成を備えることで、実施の形態1に係る情報処理装置100は、演奏情報を基に軌跡を生成し、生成した軌跡上にイラストを配置して、演奏全体を視覚的に表現することができる。
【0057】
実施の形態1に係る情報処理装置は、演奏開始タイミング及び演奏終了タイミングを取得して演奏時間を算出し、算出した演奏時間に基づいて軌跡の長さを変化させることで、演奏の長さを視覚的に表現することができる。このことにより、ユーザは、演奏の長さを表示された画像から直感的に把握することが可能になる。また、演奏の長さと画像上の軌跡の長さとが対応していることで、より演奏に適合した画像表現を行うことができる。
【0058】
(実施の形態2)
実施の形態2に係る情報処理装置100について、図面を参照して説明する。実施の形態2に係る情報処理装置100のプロセッサ110は、演奏の力強さを判定し、力強さに基づいて画像情報を生成する。
【0059】
実施の形態2に係る情報処理装置100のプロセッサ110が含む演奏判定部111は、演奏情報を取得すると、演奏情報に含まれるベロシティ情報を抽出し、演奏情報毎にRAM160に保存する。
【0060】
演奏判定部111は、演奏終了タイミングを取得すると、RAM160に記憶された演奏情報毎のベロシティ情報から、演奏全体のベロシティ情報の平均値を算出し、演奏の力強さを判定する。
【0061】
軌跡生成部112は、演奏判定部111が判定した演奏の力強さに応じて渦巻線の大きさを変化させた演奏の軌跡を生成する。軌跡生成部112は、式(2)のrrを演奏判定部111が判定した力強さに従って変化させることで、軌跡の大きさを変化させる。
【0062】
図7(A),(B)は、軌跡生成部112が生成する軌跡に含まれる渦巻線を示す図である。
図7(A)に示すように、軌跡生成部112は演奏の力強さが小さい場合には小さい渦巻線を出力する。
図7(B)に示すように、軌跡生成部112は演奏の力強さが大きい場合には大きい渦巻線を出力する。
【0063】
実施の形態2に係る情報処理装置100が実行する画像出力処理について説明する。
図8は、情報処理装置100が実行する画像出力処理のフローチャートである。画像出力処理について、
図8のフローチャートを参照して説明する。
【0064】
情報処理装置100のプロセッサ110は、出力インターフェース130を介して画像出力処理の開始を示す操作入力を受け付けると、画像出力処理を開始する。
【0065】
演奏判定部111は、入力インターフェース120を介して電子楽器200から演奏情報を受け付けると、受け付けた演奏情報にイラストを対応付ける(ステップS201)。
【0066】
演奏判定部111は、演奏情報を受け付けると、演奏情報に含まれるベロシティ情報を抽出し、RAM160に保存する(ステップS202)
【0067】
演奏判定部111は、入力インターフェース120を介して電子楽器200から演奏終了を示す情報を受け付けたかどうか判断する(ステップS203)。受け付けたと判断した場合(ステップS203:YES)、ステップS205に進む。
【0068】
受け付けていないと判断した場合(ステップS203:NO)、演奏判定部111は、演奏情報を受け付けずに或る時間経過したかどうか判断する(ステップS204)。経過したと判断した場合(ステップS204:YES)、ステップS205に進む。時間経過する前に演奏情報を受け付けた場合(ステップS204:NO)ステップS201に戻る。
【0069】
演奏判定部111は、演奏情報を或る時間受け付けない、又は入力インターフェース120を介して電子楽器200から演奏終了を示す情報を受け付けた場合、RAM160に保存された演奏情報毎のベロシティ情報に基づいて、演奏全体のベロシティ情報の平均を算出し、演奏の力強さを判定する(ステップS205)。
【0070】
演奏の力強さを判定すると、軌跡生成部112が、演奏の力強さに基づいた大きさの渦巻線を含む軌跡を生成する(ステップS206)。
【0071】
軌跡を生成すると、画像情報出力部113は、軌跡生成部112が生成した軌跡上に軌跡生成部112が演奏情報について対応付けたイラストを配置し、画像情報を生成する(ステップS207)。
【0072】
画像情報を生成すると、画像情報出力部113は、生成した画像情報を、出力インターフェース130を介して表示装置140に出力し(ステップS208)、画像出力処理を終了する。
【0073】
以上の構成を備えることで、実施の形態2に係る情報処理装置100は、演奏情報を基に軌跡を生成し、生成した軌跡上にイラストを配置して、演奏全体を視覚的に表現することができる。
【0074】
実施の形態2に係る情報処理装置は、演奏の力強さを判定し、判定した力強さに基づいて軌跡の大きさを変化させることで、演奏の力強さを視覚的に表現することができる。このことにより、ユーザは、演奏の力強さを表示された画像から直感的に把握することが可能になる。また、演奏の力強さと画像上の軌跡の大きさとが対応していることで、より演奏に適合した画像表現を行うことができる。
【0075】
(実施の形態3)
実施の形態3に係る情報処理装置100について、図面を参照して説明する。実施の形態3に係る情報処理装置100のプロセッサ110は、演奏のリズムを判定し、リズムに基づいて画像情報を生成する。
【0076】
実施の形態3に係る情報処理装置のプロセッサ110が含む演奏判定部111は、演奏情報を取得すると、演奏情報を基にリズムを判定して、RAM160に保存する。
【0077】
具体的には、演奏判定部111は、演奏情報を取得すると、その時点のノートと一つ前のノートとの時間差を求め、算出した時間差を一つ前のノートと二つ前のノートとの時間差と比較する。演奏判定部は、二つの時間差の差をリズム自由度としてRAM160に保存する。リズムが一定の演奏であればリズム自由度が小さくなり、リズムが不規則の演奏であればリズム自由度が大きくなる。リズムの算出方法は一例であり、これに限られるものではない。
【0078】
軌跡生成部112は、演奏判定部111が判定した演奏のリズムをRAM160から読み出し、読み出したリズムに応じて形状を変化させた渦巻線を含む演奏の軌跡を生成する。軌跡生成部112は、式(2)のrrを演奏判定部111が判定したリズムに従って変化させることで、渦巻線の形状を変化させる。
【0079】
図9(A),(B)は、軌跡生成部112が生成する軌跡に含まれる渦巻線を示す図である。
図9(A)に示すように、軌跡生成部112は、リズムが規則的な場合には規則的な形状の軌跡を出力する。
図9(B)に示すように、軌跡生成部112は、リズムが不規則な場合には不規則な形状の軌跡を出力する。
【0080】
実施の形態3に係る情報処理装置100が実行する画像出力処理について説明する。
図10は、情報処理装置100が実行する画像出力処理のフローチャートである。画像出力処理について、
図10のフローチャートを参照して説明する。
【0081】
情報処理装置100のプロセッサ110は、出力インターフェース130を介して画像出力処理の開始を示す操作入力を受け付けると、画像出力処理を開始する。
【0082】
演奏判定部111は、入力インターフェース120を介して電子楽器200から演奏情報を受け付けると、受け付けた演奏情報にイラストを対応付ける(ステップS301)。
【0083】
演奏判定部111は、演奏情報を受け付けると、演奏情報を基にリズムを判定し、RAM160に保存する(ステップS302)
【0084】
演奏判定部111は、入力インターフェース120を介して電子楽器200から演奏終了を示す情報を受け付けたかどうか判断する(ステップS303)。受け付けたと判断した場合(ステップS303:YES)、ステップS305に進む。
【0085】
受け付けていないと判断した場合(ステップS303:NO)、演奏判定部111は、演奏情報を受け付けずに或る時間経過したかどうか判断する(ステップS304)。経過したと判断した場合(ステップS304:YES)、ステップS305に進む。時間経過する前に演奏情報を受け付けた場合(ステップS304:NO)、ステップS301に戻る。
【0086】
演奏判定部111は、演奏情報を或る時間受け付けない、又は入力インターフェース120を介して電子楽器200から演奏終了を示す情報を受け付けた場合、RAM160に保存されたリズムに基づいて形状を変化させた渦巻線を含む軌跡を生成する(ステップS305)。
【0087】
軌跡を生成すると、画像情報出力部113は、軌跡生成部112が生成した軌跡上に軌跡生成部112が演奏情報について対応付けたイラストを配置し、画像情報を生成する(ステップS306)。
【0088】
画像情報を生成すると、画像情報出力部113は、生成した画像情報を、出力インターフェース130を介して表示装置140に出力し(ステップS307)、画像出力処理を終了する。
【0089】
以上の構成を備えることで、実施の形態3に係る情報処理装置100は、演奏情報を基に軌跡を生成し、生成した軌跡上にイラストを配置して、演奏全体を視覚的に表現することができる。
【0090】
実施の形態3に係る情報処理装置は、演奏のリズムを判定し、判定したリズムに基づいて軌跡の形状を変化させることで、例えばクラシックならば規則的な軌跡を含む画像、ジャズならば不規則な軌跡を含む画像を生成することができ、より演奏に適合した画像表現を行うことができる。
【0091】
(実施の形態4)
実施の形態4に係る情報処理装置100について、図面を参照して説明する。実施の形態4に係る情報処理装置100のプロセッサ110は、演奏の調性を判定し、調性に基づいて画像情報を生成する。
【0092】
実施の形態3に係る情報処理装置のプロセッサ110が含む演奏判定部111は、演奏情報を取得すると、演奏情報を基に演奏の調性を判定して、RAM160に保存する。
【0093】
軌跡生成部112は、演奏判定部111が判定した演奏の調性をRAM160から読み出し、読み出した演奏の調性に応じて着色された着色帯を含む演奏の軌跡を生成する。着色帯は、軌跡に含まれる渦巻線に重なって表示される帯状の画像である。
【0094】
ROM170は、演奏の調性と色とを対応付けたテーブルを記憶する。軌跡生成部112は、演奏の調整に対応付けられた色の情報をROM170から読み出し、着色帯の色として決定する。ROM170は、例えばスクリャービンの調性色に基づいて調整と色とを対応付けたテーブルを記憶するが、ROM170が記憶するテーブルはこれに限られるものではない。
【0095】
実施の形態4に係る情報処理装置100が実行する画像出力処理について説明する。
図11は、情報処理装置100が実行する画像出力処理のフローチャートである。画像出力処理について、
図11のフローチャートを参照して説明する。
【0096】
情報処理装置100のプロセッサ110は、出力インターフェース130を介して画像出力処理の開始を示す操作入力を受け付けると、画像出力処理を開始する。
【0097】
演奏判定部111は、入力インターフェース120を介して電子楽器200から演奏情報を受け付けると、受け付けた演奏情報にイラストを対応付ける(ステップS401)。
【0098】
演奏判定部111は、演奏情報を受け付けると、演奏情報を基に演奏の調性を判定し、RAM160に保存する(ステップS402)
【0099】
演奏判定部111は、入力インターフェース120を介して電子楽器200から演奏終了を示す情報を受け付けたかどうか判断する(ステップS403)。受け付けたと判断した場合(ステップS403:YES)、ステップS405に進む。
【0100】
受け付けていないと判断した場合(ステップS403:NO)、演奏判定部111は、演奏情報を受け付けずに或る時間経過したかどうか判断する(ステップS404)。経過したと判断した場合(ステップS404:YES)、ステップS405に進む。時間経過する前に演奏情報を受け付けた場合(ステップS404:NO)ステップS401に戻る。
【0101】
演奏判定部111は、演奏情報を或る時間受け付けない、又は入力インターフェース120を介して電子楽器200から演奏終了を示す情報を受け付けた場合、RAM160に保存された調性に基づいて着色した軌跡を生成する(ステップS405)。
【0102】
軌跡を生成すると、画像情報出力部113は、軌跡生成部112が生成した軌跡上に軌跡生成部112が演奏情報について対応付けたイラストを配置し、画像情報を生成する(ステップS406)。
【0103】
画像情報を生成すると、画像情報出力部113は、生成した画像情報を、出力インターフェース130を介して表示装置140に出力し(ステップS407)、画像出力処理を終了する。
【0104】
以上の構成を備えることで、実施の形態4に係る情報処理装置100は、演奏情報を基に軌跡を生成し、生成した軌跡上にイラストを配置して、演奏全体を視覚的に表現することができる。
【0105】
実施の形態4に係る情報処理装置は、演奏の調性を判定し、判定した調性に基づいて軌跡の色を変化させることで、演奏の調性及びその変化(転調)を視覚的に表現することができる。このことにより、ユーザは、演奏の調構造を表示された画像から直感的に把握することが可能になる。また、演奏の調性と画像上の軌跡の色とが対応していることで、より演奏に適合した画像表現を行うことができる。
【0106】
(変形例)
以上に本発明の実施の形態について説明したが、この実施の形態は一例であり、本発明の適用範囲はこれに限られない。すなわち、本発明の実施の形態は種々の応用が可能であり、あらゆる実施の形態が本発明の範囲に含まれる。
【0107】
情報処理装置100は表示装置140を備えるとしたが、これに限られるものではない。表示装置140を備えず、情報処理装置100の外部の表示装置と出力インターフェース130を介して接続されていても良い。外部の表示装置は例えば液晶表示装置、有機EL表示装置、映像プロジェクタを含むが、これに限られるものではない。
【0108】
演奏判定部111は、入力インターフェース120を介して電子楽器200から第1演奏情報を受け付け、第1演奏情報を受け付けたタイミングを演奏開始タイミングとして取得するとしたが、これに限られるものではない。入力インターフェース120を介して電子楽器200から演奏開始を示す情報を受け付け、演奏開始を示す情報を受け付けたタイミングを演奏開始タイミングとして取得しても良い。
【0109】
軌跡生成部112は渦巻線状の軌跡を生成するとしたが、これに限られるものではない。
図12は、軌跡生成部112が生成する軌跡に含まれる線を示す図である。
図12に示すように、軌跡生成部112は、渦巻線を形成するポイントの一部を直線に置換してつなげることで、渦巻線と直線とを組み合わせた軌跡を生成しても良い。また、直線と曲線とを組み合わせた任意の形状の軌跡を生成しても良い。
【0110】
電子楽器200は鍵220を備える電子鍵盤楽器であるとしたが、これに限られるものではない。電子楽器200は演奏情報を出力すれば良く、弦楽器状、管楽器状、打楽器状であっても良い。ピアノを含む電子楽器でない楽器の音を電気信号に変換し、演奏情報として出力する装置であっても良い。
【0111】
電子楽器200はスピーカ240を備えるとしたが、これに限られるものではない。ヘッドホン又はイヤホン、若しくはヘッドホン又はイヤホンに接続される有線又は無線の接続端子を備えてもよい。
【0112】
電子楽器200は譜面台270を備え、譜面台270に情報処理装置100が載置されるとしたが、これに限られるものではない。情報処理装置100は他の場所に置かれても良いし、その場合電子楽器200が譜面台270を備えなくてもよい。
【0113】
実施の形態2において、演奏判定部111は、演奏情報を取得すると演奏情報に含まれるベロシティ情報を抽出し、演奏情報毎にRAM160に保存するとしたが、これに限られるものではない。演奏判定部111は、或る時間毎に複数個のノートのベロシティ情報の平均値を算出し、RAM160に保存しても良い。
【0114】
実施の形態1-4に係る情報処理装置100の構成を任意に組み合わせて実施しても良い。例えば、実施の形態1と2とを組み合わせ、演奏判定部111が算出した演奏時間及び演奏判定部111が判定した演奏の力強さにそれぞれ応じて長さ及び大きさを変化させた軌跡を生成しても良い。その他の実施の形態についても同様である。
【0115】
なお、本発明に係る機能を実現するための構成を予め備えた情報処理装置として提供できることはもとより、プログラムの適用により、既存の情報処理装置を、本発明に係る情報処理装置として機能させることもできる。すなわち、実施の形態及び変形例で例示した情報処理装置による機能を実現させるためのプログラムを、既存の情報処理装置を制御するCPU等が実行できるように適用することで、本発明に係る情報処理装置として機能させることができる。また、本発明に係る方法は、情報処理装置を用いて実施できる。
【0116】
また、このようなプログラムの適用方法は任意である。プログラムを、例えば、フレキシブルディスク、CD(Compact Disc)-ROM、DVD(Digital Versatile Disc)-ROM、メモリカード等のコンピュータ読み取り可能な記憶媒体に格納して適用できる。さらに、プログラムを搬送波に重畳し、インターネットなどの通信媒体を介して適用することもできる。例えば、通信ネットワーク上の掲示板(BBS:Bulletin Board System)にプログラムを掲示して配信しても良い。そして、このプログラムを起動し、OS(Operating System)の制御下で、他のアプリケーションプログラムと同様に実行することにより、上記の処理を実行できるように構成しても良い。
【0117】
以上、本発明の好ましい実施の形態について説明したが、本発明は係る特定の実施の形態に限定されるものではなく、本発明には、特許請求の範囲に記載された発明とその均等の範囲とが含まれる。以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
【0118】
(付記1)
入力インターフェースと、
出力インターフェースと、
少なくとも一つのプロセッサと、を備え、
前記少なくとも一つのプロセッサは、
演奏開始タイミングを取得し、
演奏終了タイミングを取得し、
取得された前記演奏開始タイミング及び前記演奏終了タイミングに基づいて演奏時間を取得し、
取得された前記演奏時間に応じた長さを有する軌跡を決定し、
前記入力インターフェースから入力される複数の演奏情報に応じて決定される複数のイラストが、決定された前記軌跡に沿って配置される画像を表示するための情報を、前記出力インターフェースから出力する、
情報処理装置。
【0119】
(付記2)
前記少なくとも一つのプロセッサは、
前記演奏時間が第1時間長のときに決定する前記軌跡の長さは、前記演奏時間が前記第1時間長より長い第2時間長のときに決定する前記軌跡の長さより短くなるように、前記軌跡を決定する、
付記1に記載の情報処理装置。
【0120】
(付記3)
前記少なくとも一つのプロセッサは、
旋回するにつれて前記画像内の或る位置に近づく渦巻の軌跡に沿って前記複数のイラストを配置する、
付記1又は2に記載の情報処理装置。
【0121】
(付記4)
前記演奏情報はベロシティ情報を含み、
前記少なくとも一つのプロセッサは、
受け付けた前記演奏情報に含まれる前記ベロシティ情報に応じて、演奏の力強さを判定し、
判定された前記演奏の力強さに応じて、前記渦巻の軌跡の大きさを変化させる、
付記3に記載の情報処理装置。
【0122】
(付記5)
前記少なくとも一つのプロセッサは、
受け付けた前記演奏情報から演奏のリズムを判定し、
判定された前記演奏のリズムに応じて、前記渦巻の軌跡の形状を変形させる、
付記3又は4に記載の情報処理装置。
【0123】
(付記6)
前記演奏情報は音高情報を含み、
前記少なくとも一つのプロセッサは、
受け付けた前記演奏情報に含まれる前記音高情報から調性を判定し、
前記軌跡に沿って表示する色を、判定された前記調性に応じて変化させる、
付記1から5のいずれか一つに記載の情報処理装置。
【0124】
(付記7)
入力インターフェースと、出力インターフェースと、を備える情報処理装置のコンピュータに、
演奏開始タイミングを取得させ、
演奏終了タイミングを取得させ、
取得された前記演奏開始タイミング及び前記演奏終了タイミングに基づいて演奏時間を取得させ、
取得された前記演奏時間に応じた長さを有する軌跡を決定させ、
前記入力インターフェースから入力される複数の演奏情報に応じて決定される複数のイラストが、決定された前記軌跡に沿って配置される画像を表示するための情報を、前記出力インターフェースから出力させる、
方法。
【0125】
(付記8)
入力インターフェースと、出力インターフェースと、を備える情報処理装置のコンピュータに、
演奏開始タイミングを取得させ、
演奏終了タイミングを取得させ、
取得された前記演奏開始タイミング及び前記演奏終了タイミングに基づいて演奏時間を取得させ、
取得された前記演奏時間に応じた長さを有する軌跡を決定させ、
前記入力インターフェースから入力される複数の演奏情報に応じて決定される複数のイラストが、決定された前記軌跡に沿って配置される画像を表示するための情報を、前記出力インターフェースから出力させる、
プログラム。
【符号の説明】
【0126】
1…電子楽器システム、100…情報処理装置、110…プロセッサ、111…演奏判定部、112…軌跡生成部、113…画像情報出力部、120…入力インターフェース、130…出力インターフェース、140…表示装置、150…操作装置、160…RAM、170…ROM、200…電子楽器、210…プロセッサ、220…鍵、230…押鍵検出装置、240…スピーカ、250…操作装置、260…通信装置、270…譜面台