(58)【調査した分野】(Int.Cl.,DB名)
サーバと、演奏者が楽曲に合わせて右足で操作するための右足用ペダルと左足で操作するための左足用ペダルとが前記演奏者が座る座面の中心を基準に左右対称に配設され、前記演奏者が楽曲に合わせて右手で打撃するための右手用打撃パッドと左手で打撃するための左手用打撃パッドとが前記座面の中心を基準に左右対称に配設され、且つ前記右足用ペダルの操作と前記左足用ペダルの操作との比較及び/または前記右手用打撃パッドへの打撃と前記左手用打撃パッドへの打撃との比較により、前記演奏者の身体のバランスデータを算出する端末と、を含む音楽療法支援システムであって、
前記サーバは、
前記演奏者の身体のバランスを向上させるための練習用演奏パターンを複数記憶するサーバ記憶部と、
算出された前記バランスデータに応じた前記練習用演奏パターンを選択して前記端末に送信する選択部と、
を有し、
前記端末は、
前記演奏者が選択された前記練習用演奏パターンに基づいて演奏を行うために参照する第1のナビゲーション情報を取得し、前記楽曲の所定区間において前記第1のナビゲーション情報を報知するナビゲーション部を有することを特徴とする音楽療法支援システム。
演奏者が楽曲に合わせて右足で操作するための右足用ペダルと左足で操作するための左足用ペダルとが前記演奏者が座る座面の中心を基準に左右対称に配設され、前記演奏者が楽曲に合わせて右手で打撃するための右手用打撃パッドと左手で打撃するための左手用打撃パッドとが前記座面の中心を基準に左右対称に配設され、且つ前記右足用ペダルの操作と前記左足用ペダルの操作との比較及び/または前記右手用打撃パッドへの打撃と前記左手用打撃パッドへの打撃との比較により、前記演奏者の身体のバランスデータを算出する音楽療法支援装置であって、
前記演奏者の身体のバランスを向上させるための練習用演奏パターンを複数記憶する記憶部と、
算出された前記バランスデータに応じた前記練習用演奏パターンを選択する選択部と、
前記演奏者が選択された前記練習用演奏パターンに基づいて演奏するために参照する第1のナビゲーション情報を取得し、前記楽曲の所定区間において前記第1のナビゲーション情報を報知するナビゲーション部と、
を有することを特徴とする音楽療法支援装置。
【発明を実施するための形態】
【0024】
==音楽療法支援システムの概要==
図1は、本実施形態に係る音楽療法支援システム1の概略を示す図である。音楽療法支援システム1は、音楽療法支援装置10及びサーバ20を含む。音楽療法支援装置10とサーバ20とはネットワークNを介して通信可能となっている。
図1に示すように、音楽療法支援装置10は複数設けられていてもよい。
【0025】
==音楽療法支援装置の概要==
図2は、本実施形態に係る音楽療法支援装置10の外観を示す図である。音楽療法支援装置10は、台座2、座部3、支柱4、右足用ペダル5A、左足用ペダル5B、右手用打撃パッド6A、左手用打撃パッド6B、ディスプレイ7A及びスピーカ7Bを含んで構成される。音楽療法支援装置10は、「端末」の一例である。
【0026】
以下、右足用ペダル5A、左足用ペダル5B、右手用打撃パッド6A、左手用打撃パッド6Bの全部または一部を「打楽器」という場合がある。また、右足用ペダル5Aの操作、左足用ペダル5Bの操作、右手用打撃パッド6Aの打撃、左手用打撃パッド6Bの打撃の全部または一部を「(打楽器の)操作」という場合がある。
【0027】
座部3は台座2上に配置される。演奏者(音楽療法を受ける患者等)は、座部3の座面3Aに座り、楽曲に合わせて打楽器を操作する。座部3は演奏者の身長に合わせて高さが可変である。座部3の位置は、台座2上で変更できるようにしてもよい。
【0028】
支柱4は、台座2上であって、座部3と対向する位置に配置される。支柱4は、右手用打撃パッド6A、左手用打撃パッド6B、及び出力部7を支える。支柱4は、座部3に合わせて高さが可変である。
【0029】
右足用ペダル5A及び左足用ペダル5Bは、台座2の上に配置される。右足用ペダル5Aは、演奏者が楽曲に合わせて右足で操作するためのものである。左足用ペダル5Bは、演奏者が楽曲に合わせて左足で操作するためのものである。右足用ペダル5Aと左足用ペダル5Bとは、座部3の座面3Aの中心(座部3に座った演奏者の中心)を基準として左右対称に配設されている。台座2上における各ペダルの位置は可変であってもよい。但し、各ペダルの位置を変えた場合であっても、右足用ペダル5Aと左足用ペダル5Bとが座面3Aの中心を基準として左右対称となっている必要がある。
【0030】
右手用打撃バッド6A及び左手用打撃パッド6Bは、支柱4から座部3側に延出している。各打撃パッドは、演奏者の手により、或いはスティック等を用いて間接的に打撃される打撃面を有する。各打撃パッドの直径はたとえば、約20cmである。右手用打撃パッド6Aは、演奏者が右手で打撃するためのものである。左手用打撃パッド6Bは、演奏者が左手で打撃するためのものである。右手用打撃パッド6Aと左手用打撃パッド6Bとは、支柱4に支えられた状態で、座部3の座面3Aの中心を基準として左右対称に配設されている。支柱4に対する各パッドの位置(高さ、角度)は可変であってもよい。但し、各パッドの位置を変えた場合であっても、右手用打撃パッド6Aと左手用打撃パッド6Bとが座面3Aの中心を基準として左右対称となっている必要がある。
【0031】
ここで、本実施形態における音楽療法支援装置10は、音楽表現を目的として構成されたものではない。すなわち、本実施形態における「楽曲に合わせて(打楽器を操作する)」とは、楽曲のドラムパートに合わせて演奏する場合に限られるものではない。「楽曲に合わせて(打楽器を操作する)」とは、楽曲が流れている状態で任意のタイミング(楽曲のドラムパートとは関係ないタイミング)で打楽器を操作する場合(楽曲をペースメーカとして利用する場合)を含む概念である。
【0032】
また、「左右対称に配設」とは、座面3Aの中心を基準として一対の打楽器(一対のペダル、一対の打撃パッド)が、完全に左右対称となるよう配設される場合以外に、右手及び左手(右足及び左足)の操作条件が等しくなる所定の範囲において配設される場合を含む。具体例として、「右手用打撃パッド6Aと左手用打撃パッド6Bが左右対称」とは、右手から右手用打撃パッド6Aまでの距離と左手から左手用打撃パッド6Bまでの距離とがほぼ等しく、且つ支柱4に対する右手用打撃パッド6Aの傾きと支柱4に対する左手用打撃パッド6Bの傾きがほぼ等しくなっている状態を含む。
【0033】
ディスプレイ7Aは、流れている楽曲の残り時間等、各種情報が表示される。なお、ディスプレイ7Aは、音楽療法支援装置10を操作するためのタッチパネル(操作部15。後述)として機能してもよい。スピーカ7Bは、楽曲の楽音信号等に基づく音を放音する。ディスプレイ7Aは、「表示部」の一例である。スピーカ7Bは、「放音部」の一例である。
【0034】
==音楽療法支援装置のシステム構成==
図3は音楽療法支援装置10のシステム構成例を示す図である。本実施形態に係る音楽療法支援装置10は、上記構成の他、制御部11、音源モジュール12、記憶部13、外部音源14、操作部15、検出部16a〜16d、及び通信部7Cを含む。各構成はインターフェース(図示なし)を介してバスBに接続されている。
【0035】
制御部11は、CPU11aおよびメモリ11bを備える。CPU11aは、メモリ11bに記憶された動作プログラムを実行することにより各種の制御機能を実現する。メモリ11bは、CPU11aにより実行されるプログラムを記憶したり、プログラムの実行時に各種情報を一時的に記憶したりする記憶装置である。
【0036】
音源モジュール12は、スピーカ7Bから放音するための楽音信号を生成する。具体的には、音源モジュール12は、打楽器の操作タイミング(演奏情報(後述))等に基づいた楽音信号を生成する。また、音源モジュール12は、音楽療法で使用している楽曲と楽音信号とを混合した信号を生成し、アンプ等(図示なし)で増幅してスピーカ7Bに入力する。スピーカ7Bはその信号に基づく音を放音する。音源モジュール12は、生成した楽音信号のみを増幅してスピーカ7Bに入力してもよい。また、音源モジュール12は、練習用演奏パターンを楽曲に合わせた楽音信号を生成する(詳細は後述)。更に、音源モジュール12は、練習用演奏パターンの構成に対応した音声信号を生成し、当該音声信号を楽曲に合わせた楽音信号を生成する(詳細は後述)。音源モジュール12は、「楽音生成部」の一例である。
【0037】
記憶部13は、各種のデータを記憶する記憶装置(ハードディスクドライブ、フラッシュメモリ等)である。記憶部13は、たとえば、音楽療法に用いる楽曲のデータを記憶する。
【0038】
外部音源14は、CD等の外部メディアから音楽療法に用いる楽曲(楽曲の楽音信号)を入力するための装置である。
【0039】
操作部15は、音楽療法支援装置10に対する指示入力を行うためのものである。操作部15は、たとえば、装置本体に設けられたスイッチや、リモコン、ディスプレイ7Aに表示されるタッチパネルである。制御部11は、操作部15からの指示入力(入力信号)に基づいて、音楽療法支援装置10の各種動作(音楽療法の開始や停止等)を実行する。また、音楽療法に使用する楽曲は、操作部15により、複数の候補の中から任意に選択することが可能である。
【0040】
検出部16aは、右足用ペダル5Aに設けられ、その操作タイミングを検出する。検出部16bは、左足用ペダル5Bに設けられ、その操作タイミングを検出する。検出部16cは、右手用打撃パッド6Aに設けられ、その打撃タイミングを検出する。検出部16dは、左手用打撃パッド6Bに設けられ、その打撃タイミングを検出する。操作タイミングは、楽曲に合わせて時系列に検出される。検出部16a〜16dは、検出した信号をバスBに出力し、この信号は制御部11(変換部111。後述)に入力される。検出部16a〜16dは、振動センサや感圧センサを用いることができる。検出部16a〜16dは、「第1の検出部」の一例である。
【0041】
通信部7Cは、サーバ20との通信を行うためのインターフェースである。音楽療法支援装置10(制御部11)は、通信部7Cを介し、算出した身体のバランスデータ(後述)をサーバ20に送信する。ディスプレイ7A、スピーカ7B、及び通信部7Cは、「出力部」の一例である。
【0042】
==音楽療法支援装置によるバランスデータの算出==
図4は音楽療法支援装置10の機能ブロックを示す図である。操作部15から音楽療法を開始する旨の指示入力があった場合、CPU11aがメモリ11bに記憶されている所定の動作プログラムを読み出して実行することにより、制御部11は、取得部110、変換部111、ずれ量算出部112、第1の算出部113として機能する。
【0043】
取得部110は、楽曲における小節線のタイミングを少なくとも含むタイミング情報を取得する。
【0044】
本実施形態におけるタイミング情報は、小節線のタイミング(位置)及び拍頭のタイミング(位置)の情報を含む。取得部110は、楽曲のデータ(楽曲の楽音信号)を解析し、その楽曲の小節線のタイミング及び拍頭のタイミングを抽出し、時系列のデータ(タイミング情報)として取得する。小節線のタイミング及び拍頭のタイミングを抽出するには特開2007−052394号公報に開示の技術など、拍子と小節線位置を検出するための公知技術を用いることができる。
【0045】
具体例として、取得部110は、拍子(4分の4拍子)、小節線のタイミング(0秒、2秒・・・・32秒)を検出し、テンポは楽曲を通して一定(120)であることを検出したとする。この場合、拍頭のタイミングは小節毎に0.5秒、1秒、1.5秒、2秒であり、楽曲の長さは16小節で32秒となる。
【0046】
図5左欄は、取得したタイミング情報を[小節−拍−TPQN]のデータとして示した例である。TPQN(Tick Per Quarter Note)は、1拍の長さを所定の数(ここでは、120(0〜119))で区切ったものである。本実施形態においては、1拍の長さをTPQN:120で設定している(TPQNは000が基準値)。たとえば、タイミング情報[000−01−000]は、1小節2拍目のタイミング(TPQNは基準値の000)を示す。
【0047】
なお、記憶部13は、タイミング情報を予め有する楽曲データ(MIDIデータ)を記憶していてもよい。この場合、取得部110は、選択された楽曲データを読み出すだけでタイミング情報を取得することができる。また、TPQNは、240や480といった値で設定してもよい。
【0048】
変換部111は、検出部16aにより検出された右足用ペダル5Aの操作タイミング、検出部16bにより検出された左足用ペダル5Bの操作タイミング、検出部16cにより検出された右手用打撃パッド6Aへの打撃タイミング、及び検出部16dにより検出された左手用打撃パッド6Bへの打撃タイミングを、それぞれの演奏情報に変換する。演奏情報とは、演奏者が打楽器を操作したタイミングを示す情報である。
【0049】
図6は、
図5に示すタイミング情報の1小節目([000−00−000]から[001−00−000]までの間隔)における打楽器の操作タイミングの例を示した図である。
図6における白丸は、理想的な操作タイミング(TPQN[000])を示す。
図6における黒丸は、実際の操作タイミングを示す。
【0050】
この例では、「拍頭で打楽器を操作し、且つ各ペダルは左右交互に操作し、各パッドは1拍おきに左右同時に打撃する」という予め指示されたパターンに基づいて演奏者が演奏した結果を示す。すなわち、1拍目([00])及び3拍目([02])では、左足用ペダル5B、右手用打撃パッド6A及び左手用打撃パッド6Bを操作する。2拍目([01])及び4拍目([03])では、右足用ペダル5Aのみ操作する。
【0051】
変換部111は、あるタイミングでペダルや打撃パッドが操作されると、そのタイミングを演奏情報に変換する。たとえば、操作タイミングX(
図6参照)で右足用ペダル5Aが操作されたとする。この場合、変換部111は、検出部16aが検出した操作タイミングXを時系列のタイミング情報に照らし合わせ、その操作タイミングXが含まれる小節の位置[000]及び拍の位置[03]を特定し、且つ当該拍におけるTPQN[+16]を求める。変換部111は、これらの値を右足用ペダル5Aの演奏情報[000−03−016]として変換する。
【0052】
操作タイミングを検出する時間(本実施形態ではTPQN)はある範囲(検出範囲)に設定されることが望ましい。たとえば、検出範囲は、拍毎にTPQN[000]を基準として±30の範囲が設定される(
図6の一点鎖線)。この場合、変換部111は、その範囲に含まれる打楽器の操作タイミングのみを演奏情報に変換する。変換部111は、TPQN[000]の基準からの遅れは、プラスの値とし、基準からの進み(たとえば、本来は2拍で操作すべきものが、突っ込んで1拍の終わりで操作されたこと)はマイナスの値とする。なお、
図6においては、上記範囲(TPQN±30)に含まれない操作タイミングを×印で示している。
【0053】
変換部111は、上記の処理を演奏開始から演奏終了まで繰り返すことにより、
図5右欄に示すような打楽器毎の時系列の演奏情報を取得する。なお、
図5右欄のうち、空欄は、打楽器が操作されなかったことを示す。
図5右欄のうち、斜線は、打楽器の操作はなされたが、設定されたTPQNの範囲に含まれなかったことを示す(対応する打楽器の操作がなかったものとして扱う)。
【0054】
なお、上記例では、左足用ペダル5Bの操作と同時に楽曲の再生がスタートするよう設定されている。従って、左足用ペダル5Bの操作の演奏情報は[000−00−000](タイミング情報との誤差無し)となる。また、変換部111は、打楽器毎に少なくとも一つの演奏情報を求めることでよい。すなわち、操作タイミングの検出は打楽器毎に少なくとも一回おこなわれればよい。
【0055】
ずれ量算出部112は、タイミング情報に対する演奏情報のずれ量を算出する。本実施形態において、ずれ量算出部112は、タイミング情報の拍毎にTPQN[000]を基準とし、ある拍(ある拍の検出範囲)に含まれる各打楽器の操作タイミングがTPQNでどれだけずれているかを求める。
【0056】
たとえば、ずれ量算出部112は、タイミング情報[000−02−000]及びその検出範囲に含まれる左足用ペダル5Bの演奏情報[000−02−020]を参照することで、左足用ペダル5Bの操作はTPQNで+020だけずれていると判断し、ずれ量として「+20(遅れ)」を算出する。同様に、ずれ量算出部112は、タイミング情報[000−02−000]及びその検出範囲に含まれる右手用打撃パッド6Aの演奏情報[000−01−110]を参照することで、右手用打撃バッド6Aの打撃はTPQNで−010だけずれていると判断し、ずれ量として「−10(進み)」を算出する。
【0057】
ずれ量の算出には様々な手法がある。たとえば、ずれ量算出部112は、拍毎に求めたずれ量を「遅れ」(プラスの値)と「進み」(マイナスの値)に分け、打楽器毎にずれ量の遅れ平均と進み平均を算出してもよい。遅れ平均及び進み平均のいずれか一方の平均のみを求めることでもよい。また、ずれ量は、平均値でなく分散値等の代表値でよい。代表値を求める際には、楽曲全体を通して得られたずれ量から求めてもよいし、ある小節におけるずれ量のみを用いてもよい。また、ずれ量算出部112は、複数の操作タイミングのずれ量を算出する必要はなく、打楽器毎に少なくとも一つの操作タイミングのずれ量を算出することでよい。
【0058】
第1の算出部113は、右足用ペダル5Aの操作のずれ量と左足用ペダル5Bの操作のずれ量との比較、及び/または右手用打撃パッド6Aへの打撃のずれ量と左手用打撃パッド6Bへの打撃のずれ量との比較により、演奏者の身体のバランスデータを算出する。このようなずれ量の比較は「操作の比較」の一例である。
【0059】
バランスデータは、身体機能(身体機能の回復度合い)に関するデータであり、身体の左右の偏りを示すデータ(値)である。たとえば、第1の算出部113は、左足用ペダル5Bの遅れ平均βに対する右足用ペダル5Aの遅れ平均αの比率(バランスデータ)を求めることにより、いずれの足が遅れているか(反応が鈍いか)を判断するための情報を得ることができる。一方、遅れ平均αと遅れ平均βの比率が1の場合、身体の左右の偏りはない(体の左右のバランスが取れている)と判断できる。なお、ずれ量の比較は比率を求めることに限られない。たとえば、遅れ平均αと遅れ平均βの差分を取ることでもよい。算出された値はディスプレイ7Aに表示される。或いは、出力部としてプリンタを含む場合、算出された値は印刷して出力されてもよい。
【0060】
なお、別の例として、打楽器の操作タイミングの代わりに打楽器を操作する際の強さを用いてバランスデータを算出することもできる。
【0061】
図7はこの例における音楽療法支援装置10の機能ブロックを示す図である。CPU11aがメモリ11bに記憶されている動作プログラムを読み出して実行することにより、制御部11は、第2の算出部114として機能する。
【0062】
この場合の検出部16aは、右足用ペダル5Aに設けられ、その操作の強さを検出する。検出部16bは、左足用ペダル5Bに設けられ、その操作の強さを検出する。検出部16cは、右手用打撃パッド6Aに設けられ、その打撃の強さを検出する。検出部16dは、左手用打撃パッド6Bに設けられ、その打撃の強さを検出する。検出部16a〜16dは、検出した信号をバスBに出力し、この信号は制御部11(第2の算出部114)に入力される。この場合の検出部16a〜16dは、「第2の検出部」の一例である。
【0063】
強さの検出は、打楽器毎に少なくとも一回行えばよい。或いは、ある楽曲を放音し、その楽曲が終わるまでに行われた複数回の操作それぞれの強さを検出してもよい。
【0064】
音源モジュール12は、検出部16a〜16dにより検出された強さに基づいて楽音信号を生成し、アンプ等(図示なし)で増幅してスピーカ7Bに入力する。スピーカ7Bは、入力された楽音信号に基づく音を放音する。
【0065】
第2の算出部114は、右足用ペダル5Aの操作の強さと左足用ペダル5Bの操作の強さとの比較、及び/または、右手用打撃パッド6Aへの強さと左手用打撃パッド6Bへの打撃の強さとの比較により、演奏者の身体のバランスデータを算出する。比較する強さは、検出部16a〜16dで検出された値を用いる。
【0066】
たとえば、第2の算出部114は、ある楽曲が終わるまでに検出された打楽器の操作の強さを打楽器毎に平均し、相対する打楽器同士(右足用ペダル5Aと左足用ペダル5B、右手用打撃パッド6Aと左手用打撃パッド6B)の平均を比較することで、バランスデータを算出する。
【0067】
第2の算出部114で算出するバランスデータとしては、たとえば、右手用打撃パッド6Aへの打撃の強さの平均γに対する左手用打撃パッド6Bへの打撃の強さの平均δの比率である。この比率を求めることにより、いずれの手の打撃が弱いかを判断するための情報を得ることができる。なお、強さの比較は比率を求めることに限られない。たとえば、強さの平均γと強さの平均δの差分を取ることでもよい。また、強さは、平均値ではなく分散値等の代表値でよい。このような強さの比較は「操作の比較」の一例である。
【0068】
なお、音楽療法支援装置10は、操作タイミングのずれ量と強さを別々に求め、総合的な評価を行ってもよい。この場合、タイミング情報を参照することで、強さを比較する範囲として、一小節等、所定の期間を設定することができる。
【0069】
==サーバのシステム構成==
図8はサーバ20のシステム構成例を示す図である。本実施形態に係るサーバ20は、サーバ制御部21、サーバ記憶部22、サーバ通信部23を含む。各構成はインターフェース(図示なし)を介してバスBに接続されている。
【0070】
サーバ制御部21は、CPU21aおよびメモリ21bを備える。CPU21aは、メモリ21bに記憶された動作プログラムを実行することにより各種の制御機能を実現する。メモリ21bは、CPU21aにより実行されるプログラムを記憶したり、プログラムの実行時に各種情報を一時的に記憶したりする記憶装置である。
【0071】
サーバ記憶部22は、各種のデータを記憶する。本実施形態におけるサーバ記憶部22は、練習用演奏パターンDB22a、評価用演奏パターンDB22bを含む。なお、サーバ記憶部22は、少なくとも練習用演奏パターンDB22aを含んでいればよい。
【0072】
練習用演奏パターンDB22aは、複数の練習用演奏パターンを記憶している。練習用演奏パターンは、音楽療法支援装置10を介して演奏者に演奏させることにより、当該演奏者の身体のバランスを向上させるためのトレーニング用データである。練習用演奏パターンは、たとえばMIDIデータで構成されている。
【0073】
練習用演奏パターンDB22aに記憶されている複数の練習用演奏パターンは、予めいくつかに分類されている。たとえば、「右手(左手、右足、左足)が弱い(バランスデータとして得られた強さの比率が±10%以上)」、「右手(左手、右足、左足)がやや弱い(バランスデータとして得られた強さの比率が±10%未満。但し0%ではない)」、「右手(左手、右足、左足)が遅い(バランスデータとして得られたTPQNの差が±10以上)」、「右手(左手、右足、左足)がやや遅い(バランスデータとして得られたTPQNの差が±10未満。但し0ではない)」といった症状により、16通りの分類がされているとする。この場合、それぞれの症状には、異なる練習用演奏パターンが関連付けられている。そして、たとえば「右手が弱い」症状に対応する練習用演奏パターンは、その症状を改善するための演奏内容(右手の力を強くするために右手用打撃パッド6Aへの打撃をメインとする内容)になっている。
【0074】
評価用演奏パターンDB22bは、複数の評価用演奏パターンを記憶している。評価用演奏パターンは、音楽療法支援装置10を介して演奏者に演奏させることにより、練習用演奏パターンによる練習成果を確認するためのデータ(バランスデータを算出する情報を得るためのデータ)である。評価用演奏パターンも、たとえばMIDIデータで構成されている。評価用演奏パターンの具体例としては「4分の4拍子、小節線のタイミングは2秒おき、小節数は16、テンポは120。拍頭で打楽器を操作し、且つ各ペダルは左右交互に操作し、各パッドは1拍おきに左右同時に打撃する」といったデータがある。複数の評価用演奏パターンそれぞれは、対応する練習用演奏パターンに関連付けられている。或いは、評価用演奏パターンDB22bは、練習用演奏パターンとは関係なく、いくつかの評価用演奏パターンを記憶してもよい。
【0075】
サーバ通信部23は、音楽療法支援装置10との通信を行うためのインターフェースである。サーバ20(サーバ制御部21)は、たとえば、サーバ通信部23を介して、音楽療法支援装置10から送信された身体のバランスデータを受信する。また、サーバ20(サーバ制御部21)は、サーバ通信部23を介して、選択された練習用演奏パターンを音楽療法支援装置10に送信する。
【0076】
==音楽療法支援システムによるトレーニング==
図9は、サーバ20の機能ブロックを示す図である。
図10は音楽療法支援装置10の機能ブロックを示す図である。以下の説明において、バランスデータを取得する際に流れている音楽(BGM)のことを単に「楽曲」という場合がある。
【0077】
《サーバの機能》
サーバ20が音楽療法支援装置10からバランスデータを受信した場合、CPU21aがメモリ21bに記憶されている所定の動作プログラムを読み出して実行することにより、サーバ制御部21は、選択部210として機能する(
図9参照)。
【0078】
選択部210は、受信したバランスデータに応じた練習用演奏パターンを選択し、サーバ通信部23を介して音楽療法支援装置10に送信する。
【0079】
たとえば、上記のように練習用演奏パターンが症状に対応付けられて16通りに分類されている場合において、サーバ20(選択部210)は、右手用打撃パッド6Aの遅れ平均εと左手用打撃パッド6Bの遅れ平均ζとの差がTPQN[+20]のバランスデータを受信したとする。この場合、選択部210は、受信したバランスデータが「右手が遅い」分類に含まれると判断し、それに対応した練習用演奏パターンを選択し、音楽療法支援装置10に送信する。なお、評価用演奏パターンが評価用演奏パターンDB22bに記憶されている場合、選択部210は、練習用演奏パターンと併せて評価用演奏パターンを音楽療法支援装置10に送信する。また、送信される評価用演奏パターンは、バランスデータを取得することができればよい。すなわち、送信される評価用演奏パターンは、サーバ記憶部22に練習用演奏パターンとは関係なく記憶されている評価用演奏パターンでもよい。
【0080】
《音楽療法支援装置の機能》
音楽療法支援装置10が練習用演奏パターンを受信した場合、CPU11aがメモリ11bに記憶されている所定の動作プログラムを読み出して実行することにより、制御部11は、ナビゲーション部115として機能する(
図10参照)。
【0081】
ナビゲーション部115は、演奏者が選択された練習用演奏パターンに基づいて演奏を行うために参照する第1のナビゲーション情報を取得し、楽曲の所定区間において当該第1のナビゲーション情報を報知する。「楽曲の所定区間」とは、ある楽曲の開始から終了までの間の一部または全部の期間である。なお、音楽療法においては、同じ楽曲を繰り返し流す場合があるところ、本実施形態における楽曲の所定区間には、楽曲と楽曲の間も含まれる。
【0082】
「第1のナビゲーション情報」は、たとえば、練習用演奏パターンを楽曲に合わせた楽音信号である。
【0083】
ナビゲーション部115は、練習用演奏パターンを楽曲に合わせた楽音信号を音源モジュール12に生成させる。具体的には、ナビゲーション部115は、取得部110で取得した楽曲のデータ(小節線のタイミング、テンポ等)に、練習用演奏パターンを組み込むことにより楽音信号を生成する処理を音源モジュール12に実行させる。
【0084】
たとえば、取得部110は、楽曲のデータとして「拍子(4分の4拍子)、小節線のタイミング(0秒、2秒・・・・32秒)、テンポ(120)」を取得したとする。一方、練習用演奏パターンは、「1拍おきに拍頭で右手用打撃パッド6Aを1回打撃する、テンポ(100)」(拍子及び小節線のタイミングは楽曲と同じ)というデータであったとする。この場合、ナビゲーション部115は、練習用演奏パターンのテンポを楽曲(テンポ120)に合わせると共に、楽曲の拍子(4分の4)に合わせて、1拍目及び3拍目の拍頭に右手用打撃パッド6Aの打撃音を組み込んだ楽音信号を生成する処理を音源モジュール12に実行させる。
【0085】
そして、ナビゲーション部115は、生成した楽音信号を楽曲の所定区間(たとえば、16小節ある楽曲の第1小節から第8小節の間。その他の小節では楽曲のみを放音する)においてスピーカ7Bから放音させる。演奏者は、第1小節〜第8小節それぞれの1拍目と3拍目に右手用打撃パッド6Aの打撃音を聴くことできるため、この音を参照して右手用打撃パッド6Aを打撃することで右手の機能を改善することができる(但し、練習用演奏パターンを把握できればよく、必ずしも放音される打撃音に合わせて操作する必要はない)。このように、バランスデータを取得する際に流れていた楽曲に練習用演奏パターンを組み込んで放音させることにより、演奏者はバランスデータの取得と練習とを同じ楽曲で、且つ演奏を止めることなく行うことができる。従って、演奏者は、ストレスなく音楽療法に取り組むことができる。「第1のナビゲーション情報(生成した楽音信号)をスピーカ7Bから放音させる」ことは「第1のナビゲーション情報を報知する」ことの一例である。
【0086】
なお、演奏者が練習用演奏パターンに基づく練習を行う場合に、区切りのよいところから演奏できるようにすることが望ましい。そこで、ナビゲーション部115は、取得した楽曲のデータからその曲の区切り(たとえば、楽曲の9小節目や17小節目など)を特定し、そのタイミングで生成した楽音信号を放音させるようにすることが望ましい。
【0087】
また、ここでは、音源モジュール12が練習用演奏パターンを楽曲に合わせる処理を行う例について述べたがこれに限られない。たとえば、サーバ記憶部22において、一の症状に対し、打楽器の操作のパターンは同じで小節線のタイミング、テンポ等が異なる複数の練習用演奏パターンを関連付けて記憶しておく。そして、選択部210は、音楽療法支援装置10からバランスデータと併せて、当該バランスデータを取得する際に使用した楽曲の小節線のタイミング、テンポ等を受信する。選択部210は、バランスデータから症状を特定し、当該症状に関連付けられた複数の練習用演奏パターンの中から楽曲の小節線のタイミング、テンポ等に合った練習用演奏パターンを選択し、音楽療法支援装置10に送信する。このような構成によれば、ナビゲーション部115は、第1のナビゲーション情報をサーバ20から直接取得することができる。
【0088】
また、ナビゲーション用の音声信号を楽曲に合わせることもできる。たとえば、段落[0084]と同様の楽曲及び練習用演奏パターンを用いるとする。この場合、ナビゲーション部115は、音源モジュール12にそのパターンの構成に対応した音声信号(たとえば、「さあ、一拍おきに右手だけ、力強く!」)を生成させる。そして、ナビゲーション部115は、音源モジュール12に、生成した音声信号を1拍おきに楽曲の拍頭に組み込んだ楽音信号を生成する処理を行わせる。
【0089】
この楽音信号を第1のナビゲーション情報としてスピーカ7Bから放音させた場合、楽曲の拍頭で上記音声信号が放音される。よって、演奏者は、この音声により自分が操作すべき打楽器を把握することができる(但し、練習用演奏パターンを把握できればよく、必ずしもナビゲーションの音声に合わせて操作する必要はない)。このように、練習用演奏パターンから生成した音声信号を楽曲に合わせた楽音信号は、「練習用演奏パターンを楽曲に合わせた楽音信号」の一例である。
【0090】
或いは、第1のナビゲーション情報は、練習用演奏パターンを楽曲に合わせた映像情報であってもよい。映像情報は、ディスプレイ7Aに表示可能な情報(演奏者が視認できる情報)である。映像情報には、楽譜情報、アニメーション、文字情報が含まれる。
【0091】
映像情報として楽譜情報を用いる場合、ナビゲーション部115は、練習用演奏パターンを楽曲に合わせた楽譜情報を第1のナビゲーション情報として生成する。具体的には、ナビゲーション部115は、取得部110で取得した楽曲の小節線のタイミング及び拍頭のタイミングに練習用演奏パターンを組み合わせて楽音信号を生成し、公知技術を用いてその楽音信号に基づいて楽譜情報を生成する。
【0092】
たとえば、段落[0084]に記載したように、ナビゲーション部115は、練習用演奏パターンのテンポを楽曲(テンポ120)に合わせると共に、楽曲の拍子(4分の4)に合わせて、1拍目及び3拍目の拍頭に右手用打撃パッド6Aの打撃音を組み込んだ楽音信号を生成したとする。ナビゲーション部115は、更にこの楽音信号を譜面に落とすことで楽譜情報を生成する。そして、ナビゲーション部115は、生成した楽譜情報をディスプレイ7Aに表示させる(楽譜を表示させる場合には、必ずしも楽音信号を放音する必要はない)。演奏者は、練習用演奏パターンを演奏する際には楽譜がディスプレイに表示されるため、練習用演奏パターンを視覚的に把握することができる。ナビゲーション部115は、楽譜を表示すると共に、公知技術を用いて楽譜に重ねて現在の再生位置を表すカーソル線を表示させ、時間経過と共にカーソル線が楽譜上を移動するように制御してもよい(どのタイミングでどの打楽器を操作すべきかを容易に把握できる。但し、練習用演奏パターンを把握できればよく、必ずしもカーソル線の動きに合わせて操作する必要はない)。また、流れている楽曲はバランスデータ取得時と同じであるため、演奏を止める必要がない。従って、ストレスなく音楽療法に取り組むことができる。「第1のナビゲーション情報(映像情報)をディスプレイ7Aに表示させる」ことは、「第1のナビゲーション情報を報知する」ことの一例である。
【0093】
なお、映像情報として、練習用演奏パターンを示すアニメーション(たとえば、1拍毎に右足を動かす場合には、1拍毎に右足の画が表示されるCGや動画データ)や、文字情報(たとえば、「はい!曲に合わせて左足だけペダルを踏んで!遅れないようにタイミングに注意して!」、「さあ、曲に合わせて左手だけ、力強く!」といったテキストデータ)を用いる場合も同様である。
【0094】
たとえば、練習用演奏パターンは、「1拍おきに拍頭で右手用打撃パッド6Aを1回打撃する」というデータであったとする。この場合、ナビゲーション部115は、「1拍おきに拍頭で右手の画が表示されるアニメーション」を生成する。ナビゲーション部115は、このアニメーションを楽曲に組み込んだ映像情報(楽曲の1拍おき、且つ拍頭の位置にアニメーションを組み込んだ映像情報)を生成する。ナビゲーション部115は、生成したアニメーションをディスプレイ7Aに表示させる。
【0095】
なお、音声情報、アニメーション、文字情報等は、練習用演奏パターンに対応するデータを予め関連付けてサーバ記憶部22に記憶させておくことでもよい。
【0096】
この場合、選択部210は、選択した練習用演奏パターンに応じたデータ(音声情報、アニメーション、文字情報の少なくとも一つ)を音楽療法支援装置10に送信する。ナビゲーション部115は、受信したデータを楽曲に組み込み、第1のナビゲーション情報として取得し、当該ナビゲーション情報に基づく報知を行う。具体的には、受信したデータがアニメーションや文字情報であれば、ナビゲーション部115は、それらを楽曲に組み込んだ第1のナビゲーション情報をディスプレイ7Aに表示させる。受信したデータが音声情報であれば、ナビゲーション部115は、当該情報を楽曲に組み込んだ第1のナビゲーション情報をスピーカ7Bから放音させる。
【0097】
上記の各種情報は、適宜組み合わせて報知されることでもよい。たとえば、ナビゲーション部115は、楽音信号に基づく放音と、アニメーションによる視覚的な提示を併せて行うこともできる。この場合、楽音信号及びアニメーションが「第1のナビゲーション情報」に該当する。
【0098】
また、評価用演奏パターンがある場合、ナビゲーション部115は、演奏者が選択された評価用演奏パターンに基づいて演奏を行うために参照する第2のナビゲーション情報を取得する。評価用演奏パターンは、練習用演奏パターンと同じデータ形式である。また、第2のナビゲーション情報は、第1のナビゲーション情報と同様の手法により楽音信号や映像情報として取得することができる。
【0099】
また、ナビゲーション部115は、楽曲の所定区間において第1のナビゲーション情報及び第2のナビゲーション情報を交互に報知する。たとえば、ナビゲーション部115は、練習用演奏パターンを繰り返し演奏させるため、第1のナビゲーション情報を複数回報知する。その後、練習成果を確認するために(バランスデータを取得するために)、ナビゲーション部115は、第2のナビゲーション情報を報知する。第2のナビゲーション情報を参照して演奏した結果に基づいて、音楽療法支援装置10は新たなバランスデータを取得し、当該新たなバランスデータをサーバ20に送信して新たな練習用演奏パターンを受信する。ナビゲーション部115は、新たな練習用演奏パターンに応じた新たな第1のナビゲーション情報を取得し、それを報知する。
【0100】
評価用演奏パターンは、身体のバランスの判断(確認)を目的としたパターン構成となっているため、これに基づいて各打楽器を操作することにより、確度の高いバランスデータを得ることができる。一方、本実施形態のようなバランスデータの算出においては、少なくとも相対する打楽器同士のデータ(たとえば、右手用打撃パッド6A及び左手用打撃パッド6Bそれぞれの、少なくとも1回の操作タイミング)が得られればよく、評価用演奏パターンに沿って演奏することは必ずしも必要ではない。すなわち、練習用演奏パターンで演奏した練習成果を確認するためにバランスデータを取得する際には、評価用演奏パターンの有無に関わらず、演奏者が自由に演奏することでもよい。
【0101】
==音楽療法支援システムの動作==
図11は、音楽療法支援システムによる処理の流れを示すフローチャートである。
【0102】
音楽療法を行う場合、まず、演奏者は音楽療法支援装置10を用いて、楽曲に合わせて自由に演奏を行う。音楽療法支援装置10は、演奏結果に基づいてバランスデータを算出する(ステップ10。S10)。
【0103】
音楽療法支援装置10は、算出したバランスデータをサーバ20に送信する(ステップ11。S11)。
【0104】
サーバ20は、受信したバランスデータ(S11で送信されたバランスデータ)に対応する練習用演奏パターンを選択する(ステップ12。S12)。
【0105】
サーバ20は、S12で選択した練習用演奏パターンを音楽療法支援装置10に送信する(ステップ13。S13)。なお、練習用演奏パターンに評価用演奏パターンが関連付けられている場合、サーバ20(選択部210)は、当該評価用演奏パターンも送信する。
【0106】
音楽療法支援装置10は、受信した練習用演奏パターン(S13で送信された練習用演奏パターン)に基づいて演奏を行うために参照する第1のナビゲーション情報を取得する(ステップ14。S14)。
【0107】
音楽療法支援装置10は、楽曲の所定区間においてS14で取得した第1のナビゲーション情報を報知する(ステップ15。S15)。音楽療法支援装置10は、演奏者が練習用演奏パターンを予め決められている所定回数繰り返すよう、第1のナビゲーション情報を繰り返し報知する(ステップ16。S16)。
【0108】
演奏者が練習用演奏パターンを予め決められている所定回数繰り返した場合(S16でYの場合)、音楽療法支援装置10は、新たなバランスデータの算出を行う(ステップ17。S17)。新たなバランスデータの算出においては、楽曲に合わせて自由に演奏を行った結果を用いてもよいし、評価用演奏パターンに基づいて得られた結果を用いてもよい。また、練習用演奏パターンを所定回数繰り返したかどうかの判断は、たとえば、ナビゲーション部115が第1のナビゲーション情報の報知回数をカウントし、その値が閾値に達した場合に所定回数繰り返したと判断することでよい。
【0109】
音楽療法支援装置10は、算出した新たなバランスデータをサーバ20に送信する(ステップ18。S18)。以下、S12以降と同様の流れで、サーバ20が新たな練習用演奏パターンを選択・送信し、音楽療法支援装置10は新たな第1のナビゲーション情報(新たな練習用演奏パターンを演奏する際に参照する情報)を生成・報知する処理を行う。音楽療法支援システム1は、これら一連の処理を音楽療法の終了まで繰り返し行う。
【0110】
このように、本実施形態の音楽療法支援システム1は、打楽器を操作することにより、身体を動かしたり、ストレスを発散する等の音楽療法を施すことができる。更に、音楽療法支援システム1は、打楽器の操作に基づいて、相対する打楽器同士のタイミングのずれ等を比較する。すなわち、音楽療法支援システム1は、楽曲データ(レファレンス)に対する各打楽器の操作タイミングのずれ等を比較するものではない。よって、音楽療法を施しながら、身体の左右の偏りを判断するためのより正確なデータ(バランスデータ)を取得することができる。そして、音楽療法支援システム1は、取得したバランスデータに応じて、その都度、最適な練習用演奏パターンを選択してナビゲーションと共に演奏者に提供することができる。よって、演奏者は、ナビゲーションを参照して現在の身体状況にあったトレーニングを行うことで、効率よく身体機能の回復を図ることができる。
【0111】
また、練習用演奏パターンや評価用演奏パターンは必ずしもそのナビゲーションに合わせて演奏することはない。すなわち、ナビゲーション情報は、各演奏パターンを演奏する際の参照情報として利用すればよい。たとえば、右手の機能回復を目的とした練習用演奏パターンであれば、ナビゲーション情報により、演奏者が少なくとも「右手を動かすこと」が理解できればよい。更に、演奏者は、再生、放音される楽曲に合わせ、ナビゲーション情報を参照しながら途切れることなく演奏(各パターンの実行)を続けてもよい。或いは、演奏者は、適宜(たとえば、練習用演奏パターンが変わった時に新しい練習用演奏パターンを確認するため)演奏を中断した後、任意のタイミングでナビゲーション情報を参照して演奏を再開してもよい。つまり、本実施形態における音楽療法支援システム1によれば、演奏者のペースで音楽療法を受けることができるため、自由度が高く、演奏者に与えるストレスが少ない。
【0112】
==その他==
段落[0048]等に記載した演奏情報の取得と同様の手法により、音楽療法支援装置10は、練習用演奏パターン(或いは評価用演奏パターン)を演奏する場合にその演奏情報を求めてもよい。この場合、音楽療法支援装置10は、この演奏情報を楽曲と共に放音することができる。
【0113】
また、実施形態では、サーバ20及び端末(音楽療法支援装置10)を含む音楽療法支援システム1として説明したが、音楽療法支援装置10のみでも同様の動作が可能である。この場合、記憶部13は、サーバ記憶部22と同様のデータを記憶している。制御部11は、サーバ制御部21と同様の機能を実行する。
【0114】
上記実施形態は、例として提示したものであり、発明の範囲を限定するものではない。たとえば、音楽療法支援システムは、身体機能の回復の目的だけでなく、脳のトレーニング等にも利用することができる。また、上記の構成は、適宜組み合わせて実施することが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。それらの実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。