特許 6121946 表現再生システム，そのボード装置，表現再生方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6121946

(24)【登録日】2017年4月7日

(45)【発行日】2017年4月26日

(54)【発明の名称】表現再生システム，そのボード装置，表現再生方法

(51)【国際特許分類】

   A61H 1/02 20060101AFI20170417BHJP

   G10H 1/00 20060101ALI20170417BHJP

   G10H 1/34 20060101ALI20170417BHJP

   G09B 15/00 20060101ALI20170417BHJP

【ＦＩ】

   A61H1/02 K

   G10H1/00 Z

   G10H1/00 102Z

   G10H1/34

   G09B15/00 C

【請求項の数】15

【全頁数】21

(21)【出願番号】特願2014-113330(P2014-113330)

(22)【出願日】2014年5月30日

(65)【公開番号】特開2015-226631(P2015-226631A)

(43)【公開日】2015年12月17日

【審査請求日】2015年5月27日

(73)【特許権者】

【識別番号】596112147

【氏名又は名称】佐野 芳彦

(74)【代理人】

【識別番号】100090413

【弁理士】

【氏名又は名称】梶原 康稔

(74)【代理人】

【識別番号】100195028

【弁理士】

【氏名又は名称】高久 由紀子

(72)【発明者】

【氏名】佐野 芳彦

【審査官】 今井 貞雄

(56)【参考文献】

【文献】 特開２００５−０９９５６５（ＪＰ，Ａ）

【文献】 登録実用新案第３０６８８２７（ＪＰ，Ｕ）

【文献】 登録実用新案第３１４３９９９（ＪＰ，Ｕ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６１Ｈ １／０２

Ｇ０９Ｂ １５／００

Ｇ１０Ｈ １／００

Ｇ１０Ｈ １／３４

(57)【特許請求の範囲】

【請求項1】

聴覚的な表現が経時的に変化する楽曲を、ユーザによる所定のルーチンの繰り返しにより再生する表現再生システムであって、
前記ルーチンに含まれる複数の所定の動作を行う手順を設定するルーチン設定手段と、
前記楽曲を構成する音の音高についての時系列データである音列データを取得する音列データ取得手段と、
前記ルーチンに含まれる複数の所定の動作の各々に対応しており、前記ユーザによって対応する所定の動作が行われたことを検知する複数の動作検知手段と、
前記音列データを時系列に沿って所定の単位で分割したときの単位表現の再生順序と、前記ルーチンに含まれる複数の所定の動作とを、前記ルーチンの繰り返し数に応じて対応づけたテーブルを生成するテーブル生成手段と、
前記動作検知手段によって前記ユーザによる所定の動作を検知したら、前記テーブルを参照し、検知したときの前記ルーチンの繰り返し数と、該ルーチン内での前記動作の順序に対応する単位表現を特定し、再生指示する再生指示手段と、
該再生指示手段からの指示に応じて、対応する単位表現の再生を行う出力手段と、
を備えており、
前記ルーチンが、複数の指を所定の順序で動かす運指であり、
前記複数の動作検知手段が、前記複数の指のそれぞれに対応する複数のキーであって、前記ユーザによるキーを押す動作を検知するものであり、かつ、
前記キーは、前記指と接触する部分の面積又は触感の少なくとも一方が異なる他のキーと交換可能であることを特徴とする表現再生システム。

【請求項2】

前記音列データは、１回のルーチンに含まれる動作数よりも多い数となるように、前記単位表現に分割されることを特徴とする請求項１記載の表現再生システム。

【請求項3】

前記動作検知手段を利用して、前記ルーチンの設定を行うことを特徴とする請求項１又は２記載の表現再生システム。

【請求項4】

前記ユーザによる前記ルーチンの遂行に関するデータを取得し、ユーザ毎にデータの解析を行うログ取得解析手段、
を備えたことを特徴とする請求項１〜３のいずれか一項に記載の表現再生システム。

【請求項5】

前記ログ取得解析手段は、ネットワークを通じた遂行データの取得又はネットワークを通じた解析データの提供の少なくとも一方が可能であることを特徴とする請求項４記載の表現再生システム。

【請求項6】

請求項１記載の表現再生システムの動作検知手段として利用可能なボード装置であって、
前記キーに相当する複数のキーを有しており、
前記キーによって、前記運指の順序の設定と、前記ユーザによるキーを押す動作の検知が可能であるとともに、
前記運指の順序を設定する状態と、前記キーを押す動作を検知する状態とを切り替える切替手段、
を備えたことを特徴とするボード装置。

【請求項7】

聴覚的な表現が経時的に変化する楽曲を、ユーザによる所定の動作の繰り返しにより再生する表現再生システムであって、
前記楽曲を構成する音の音高についての時系列データである音列データを取得する音列データ取得手段と、
前記ユーザにより前記所定の動作が行われたことを検知する動作検知手段と、
前記音列データを時系列に沿って所定の単位で分割したときの単位表現の再生順序と、前記ユーザによる所定の動作の繰り返し数を対応づけたテーブルを生成するテーブル生成手段と、
前記動作検知手段によって前記ユーザによる所定の動作を検知したら、前記テーブルを参照し、検知したときの前記所定の動作の繰り返し数に対応する単位表現を特定し、再生指示する再生指示手段と、
該再生指示手段からの指示に応じて、対応する単位表現の再生を行う出力手段と、
を備えており、
前記楽曲のメロディを構成する音のうちの最少音価を前記所定の単位として、前記メロディを構成する各々の音が分割されるとともに、
前記テーブル生成手段は、
前記音を最少音価で分割したときの最初の単位表現については音の再生をし、前記最初の単位表現より後の単位表現については音の再生をしないように、各音ごとに、前記単位表現の再生順序及び再生の有無と、前記ユーザによる所定の動作の繰り返し数を対応づけたテーブルを生成することを特徴とする表現再生システム。

【請求項8】

前記所定の動作が、ユーザによる着地であって、
前記動作検知手段が、前記ユーザの着地を検知する加速度センサであることを特徴とする請求項７記載の表現再生システム。

【請求項9】

前記ユーザによる前記所定の動作の遂行に関するデータを取得し、ユーザ毎にデータの解析を行うログ取得解析手段、
を備えたことを特徴とする請求項７又は８記載の表現再生システム。

【請求項10】

前記ログ取得解析手段は、ネットワークを通じた遂行データの取得又はネットワークを通じた解析データの提供の少なくとも一方が可能であることを特徴とする請求項９記載の表現再生システム。

【請求項11】

聴覚的な表現が経時的に変化する楽曲を、ユーザによる所定のルーチンの繰り返しにより再生する表現再生方法であって、
前記ルーチンに含まれる所定の動作を行う手順を設定するステップと、
前記楽曲を構成する音の音高についての時系列データである音列データを取得するステップと、
前記取得した音列データを時系列に沿って所定の単位に分割したときの単位表現の再生順序と、前記ルーチンに含まれる複数の動作とを、前記ルーチンの繰り返し数に応じて対応づけたテーブルを生成するステップと、
前記ルーチンに含まれる所定の動作の各々に対応する複数の動作検知手段によって、前記ユーザによる所定の動作を検知し、前記テーブルを参照して、検知したときの前記ルーチンの繰り返し数と、該ルーチン内での前記動作の順序に対応する単位表現を特定して、出力手段に再生を指示するステップと、
前記指示に応じて、対応する単位表現の再生を行うステップと、
を含み、
前記ルーチンが、複数の指を所定の順序で動かす運指であり、
前記複数の動作検知手段が、前記複数の指のそれぞれに対応する複数のキーであって、前記ユーザによるキーを押す動作を検知するものであり、かつ、
前記キーは、前記指と接触する部分の面積又は触感の少なくとも一方が異なる他のキーと交換可能であることを特徴とする表現再生方法。

【請求項12】

前記テーブルを生成するステップにおいて、前記音列データを、１回のルーチンに含まれる操作数よりも多い数となるように、前記単位表現に分割することを特徴とする請求項１１記載の表現再生方法。

【請求項13】

前記ユーザによる前記ルーチンの遂行に関するデータを取得し、ユーザ毎にデータの解析を行うステップ，
を含むことを特徴とする請求項１１又は１２記載の表現再生方法。

【請求項14】

聴覚的な表現が経時的に変化する楽曲を、ユーザによる所定の動作の繰り返しにより再生する表現再生方法であって、
前記楽曲を構成する音の音高についての時系列データである音列データを取得するステップと、
前記取得した音列データを時系列に沿って所定の単位に分割したときの単位表現の再生順序と、前記所定の動作の繰り返し数を対応づけたテーブルを生成するステップと、
前記ユーザによる所定の動作を検知する動作検知手段によって、前記ユーザによる所定の動作を検知したら、前記テーブルを参照して、検知したときの前記所定の動作の繰り返し数に対応する単位表現を特定して、出力手段に再生を指示するステップと、
前記指示に応じて、対応する単位表現の再生を行うステップと、
を含み、
前記楽曲のメロディを構成する音のうちの最少音価を前記所定の単位として、前記メロディを構成する各々の音が分割されるとともに、
前記テーブルを生成するステップにおいて、
前記音を最少音価で分割したときの最初の単位表現については音の再生をし、前記最初の単位表現より後の単位表現については音の再生をしないように、各音ごとに、前記単位表現の再生順序及び再生の有無と、前記ユーザによる所定の動作の繰り返し数を対応づけたテーブルを生成することを特徴とする表現再生方法。

【請求項15】

前記ユーザによる前記所定の動作の遂行に関するデータを取得し、ユーザ毎にデータの解析を行うステップ，
を含むことを特徴とする請求項１４記載の表現再生方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、音楽や動画などの経時的に変化する表現を再生するための、表現再生システム，そのボード装置，表現再生方法に関するものである。

【背景技術】

【0002】

脳梗塞等の後遺症として現れる手指の麻痺では、拘縮が生じる場合がある。このため、手指を開く動作を繰り返して拘縮を防止したり、新たな神経回路の形成を促したりするために、リハビリテーションが必要となる。しかしながら、リハビリテーションは、長期に行う必要があり、かつ、単調な動作で、リハビリを受ける人にとって辛い動作もあることから、続けることが困難なことが多い。

【0003】

例えば、下記特許文献１には、盤面に配列された、左右各複数個よりなるボタンの列と、ボタンの押されたことを知らせる報知手段と、ボタンの押された回数を計数し表示するカウンターと、上記計数の表示をゼロに戻すリセット手段を具備して構成された指操作式リハビリテーション装置が開示されている。当該技術によれば、左右の指先を積極的に動かすか或いは動かそうとする努力によって、指先及びそれをコントロールする脳の活性化を図り、老化の進行を遅らせることを課題としている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００９−１８９６４５号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ところで、上述した特許文献１に記載の技術は、ボタンを押すたびに、ブザーが鳴り、カウンターに表示される値が増えていくことを確認することで、使用者には正しく操作されていることが分かり、目標の作業を繰り返すものである。しかしながら、このような装置では、使用者が動かしやすい指のみを使い、動かしにくい指については、あまり動かさないことも想定されうる。そうすると、音や表示値の変化を楽しむことはできても、実際には、リハビリの効果が生じにくいこともある。また、どの指を動かすのか、そして、それらの指を動かす順序をどうするのかは、リハビリを受ける人によってそれぞれ異なるため、個人個人の状態に応じて指を動かすように促すことができれば、リハビリの効果も高くなると考えられる。しかしながら、上述した特許文献１に記載の技術では、そのような点は開示されていない。

【0006】

本発明は、以上のような点に着目したもので、ユーザにとって適した動作の繰り返しを、楽しみながら継続できるような表現再生システム，そのボード装置，表現再生方法を提供することを、その目的とする。他の目的は、本発明をリハビリ等の支援に用いることである。

【課題を解決するための手段】

【0007】

本発明の表現再生システムは、聴覚的な表現が経時的に変化する楽曲を、ユーザによる所定のルーチンの繰り返しにより再生する表現再生システムであって、前記ルーチンに含まれる複数の所定の動作を行う手順を設定するルーチン設定手段と、前記楽曲を構成する音の音高についての時系列データである音列データを取得する音列データ取得手段と、前記ルーチンに含まれる複数の所定の動作の各々に対応しており、前記ユーザによって対応する所定の動作が行われたことを検知する複数の動作検知手段と、前記音列データを時系列に沿って所定の単位で分割したときの単位表現の再生順序と、前記ルーチンに含まれる複数の所定の動作とを、前記ルーチンの繰り返し数に応じて対応づけたテーブルを生成するテーブル生成手段と、前記動作検知手段によって前記ユーザによる所定の動作を検知したら、前記テーブルを参照し、検知したときの前記ルーチンの繰り返し数と、該ルーチン内での前記動作の順序に対応する単位表現を特定し、再生指示する再生指示手段と、該再生指示手段からの指示に応じて、対応する単位表現の再生を行う出力手段と、を備えており、前記ルーチンが、複数の指を所定の順序で動かす運指であり、前記複数の動作検知手段が、前記複数の指のそれぞれに対応する複数のキーであって、前記ユーザによるキーを押す動作を検知するものであり、かつ、前記キーは、前記指と接触する部分の面積又は触感の少なくとも一方が異なる他のキーと交換可能であることを特徴とする。

【0008】

主要な形態の一つは、前記音列データは、１回のルーチンに含まれる動作数よりも多い数となるように、前記単位表現に分割されることを特徴とする。

【0009】

更に他の形態は、前記動作検知手段を利用して、前記ルーチンの設定を行うことを特徴とする。更に他の形態は、前記ユーザによる前記ルーチンの遂行に関するデータを取得し、ユーザ毎にデータの解析を行うログ取得解析手段、を備えたことを特徴とする。更に他の形態は、前記ログ取得解析手段は、ネットワークを通じた遂行データの取得又はネットワークを通じた解析データの提供の少なくとも一方が可能であることを特徴とする。

【0010】

本発明のボード装置は、請求項１記載の表現再生システムの動作検知手段として利用可能なボード装置であって、前記キーに相当する複数のキーを有しており、前記キーによって、前記運指の順序の設定と、前記ユーザによるキーを押す動作の検知が可能であるとともに、前記運指の順序を設定する状態と、前記キーを押す動作を検知する状態とを切り替える切替手段、を備えたことを特徴とする。

【0011】

他の発明の表現再生システムは、聴覚的な表現が経時的に変化する楽曲を、ユーザによる所定の動作の繰り返しにより再生する表現再生システムであって、前記楽曲を構成する音の音高についての時系列データである音列データを取得する音列データ取得手段と、前記ユーザにより前記所定の動作が行われたことを検知する動作検知手段と、前記音列データを時系列に沿って所定の単位で分割したときの単位表現の再生順序と、前記ユーザによる所定の動作の繰り返し数を対応づけたテーブルを生成するテーブル生成手段と、前記動作検知手段によって前記ユーザによる所定の動作を検知したら、前記テーブルを参照し、検知したときの前記所定の動作の繰り返し数に対応する単位表現を特定し、再生指示する再生指示手段と、該再生指示手段からの指示に応じて、対応する単位表現の再生を行う出力手段と、を備えており、前記楽曲のメロディを構成する音のうちの最少音価を前記所定の単位として、前記メロディを構成する各々の音が分割されるとともに、前記テーブル生成手段は、前記音を最少音価で分割したときの最初の単位表現については音の再生をし、前記最初の単位表現より後の単位表現については音の再生をしないように、各音ごとに、前記単位表現の再生順序及び再生の有無と、前記ユーザによる所定の動作の繰り返し数を対応づけたテーブルを生成することを特徴とする。

【0013】

主要な形態の一つは、前記所定の動作が、ユーザによる着地であって、前記動作検知手段が、前記ユーザの着地を検知する加速度センサであることを特徴とする。他の形態は、前記ユーザによる前記所定の動作の遂行に関するデータを取得し、ユーザ毎にデータの解析を行うログ取得解析手段、を備えたことを特徴とする。更に他の形態は、前記ログ取得解析手段は、ネットワークを通じた遂行データの取得又はネットワークを通じた解析データの提供の少なくとも一方が可能であることを特徴とする。

【0014】

本発明の表現再生方法は、聴覚的な表現が経時的に変化する楽曲を、ユーザによる所定のルーチンの繰り返しにより再生する表現再生方法であって、前記ルーチンに含まれる所定の動作を行う手順を設定するステップと、前記楽曲を構成する音の音高についての時系列データである音列データを取得するステップと、前記取得した音列データを時系列に沿って所定の単位に分割したときの単位表現の再生順序と、前記ルーチンに含まれる複数の動作とを、前記ルーチンの繰り返し数に応じて対応づけたテーブルを生成するステップと、前記ルーチンに含まれる所定の動作の各々に対応する複数の動作検知手段によって、前記ユーザによる所定の動作を検知し、前記テーブルを参照して、検知したときの前記ルーチンの繰り返し数と、該ルーチン内での前記動作の順序に対応する単位表現を特定して、出力手段に再生を指示するステップと、前記指示に応じて、対応する単位表現の再生を行うステップと、を含み、前記ルーチンが、複数の指を所定の順序で動かす運指であり、前記複数の動作検知手段が、前記複数の指のそれぞれに対応する複数のキーであって、前記ユーザによるキーを押す動作を検知するものであり、かつ、前記キーは、前記指と接触する部分の面積又は触感の少なくとも一方が異なる他のキーと交換可能であることを特徴とする。

【0015】

主要な形態の一つは、前記テーブルを生成するステップにおいて、前記音列データを、１回のルーチンに含まれる動作数よりも多い数となるように、前記単位表現に分割することを特徴とする。他の形態は、前記ユーザによる前記ルーチンの遂行に関するデータを取得し、ユーザ毎にデータの解析を行うステップ、を含むことを特徴とする。

【0016】

他の発明の表現再生方法は、聴覚的な表現が経時的に変化する楽曲を、ユーザによる所定の動作の繰り返しにより再生する表現再生方法であって、前記楽曲を構成する音の音高についての時系列データである音列データを取得するステップと、前記取得した音列データを時系列に沿って所定の単位に分割したときの単位表現の再生順序と、前記所定の動作の繰り返し数を対応づけたテーブルを生成するステップと、前記ユーザによる所定の動作を検知する動作検知手段によって、前記ユーザによる所定の動作を検知したら、前記テーブルを参照して、検知したときの前記所定の動作の繰り返し数に対応する単位表現を特定して、出力手段に再生を指示するステップと、前記指示に応じて、対応する単位表現の再生を行うステップと、を含み、前記楽曲のメロディを構成する音のうちの最少音価を前記所定の単位として、前記メロディを構成する各々の音が分割されるとともに、前記テーブルを生成するステップにおいて、前記音を最少音価で分割したときの最初の単位表現については音の再生をし、前記最初の単位表現より後の単位表現については音の再生をしないように、各音ごとに、前記単位表現の再生順序及び再生の有無と、前記ユーザによる所定の動作の繰り返し数を対応づけたテーブルを生成することを特徴とする。

【0017】

主要な形態の一つは、前記ユーザによる前記所定の動作の遂行に関するデータを取得し、ユーザ毎にデータの解析を行うステップ，を含むことを特徴とする。本発明の前記及び他の目的，特徴，利点は、以下の詳細な説明及び添付図面から明瞭になろう。

【発明の効果】

【0018】

本発明によれば、(1)聴覚的な表現が経時的に変化する楽曲を、ユーザによる所定のルーチンの繰り返しにより再生する。前記ルーチンには、複数の所定の動作が含まれ、それらの動作を行う手順があらかじめ設定される。そして、前記楽曲を構成する音の音高についての時系列データである音列データを取得し、それを時系列に沿って所定の単位に分割したときの単位表現の再生順序と、前記ルーチンに含まれる複数の動作とを、前記ルーチンの繰り返し数に応じて対応づけたテーブルを生成する。前記ルーチンが、複数の指を所定の順序で動かす運指であり、前記複数の動作検知手段が、前記複数の指のそれぞれに対応する複数のキーであって、前記ユーザによるキーを押す動作を検知するものであり、かつ、前記キーは、前記指と接触する部分の面積又は触感の少なくとも一方が異なる他のキーと交換可能である。前記ルーチンに含まれる複数の所定の動作の各々に対応する複数の動作検知手段によって、前記ユーザによる所定の動作を検知したら、前記テーブルを参照する。そして、検知したときの前記ルーチンの繰り返し数と、該ルーチン内での前記動作の順序に対応する単位表現を特定して、出力手段から出力することとした。このため、複数の所定の動作を所定の順序で行うルーチンを繰り返すことにより、楽曲の再生が可能となる。

【0019】

(2)あるいは、聴覚的な表現が経時的に変化する楽曲を、ユーザによる所定の動作の繰り返しにより再生する。前記楽曲を構成する音の音高についての時系列データである音列データを取得し、それを時系列に沿って所定の単位に分割したときの単位表現の再生順序と、前記所定の動作の繰り返し数を対応づけたテーブルを生成する。前記楽曲のメロディを構成する音のうちの最少音価を前記所定の単位として、前記メロディを構成する各々の音が分割されるとともに、前記テーブルの生成において、前記音を最少音価で分割したときの最初の単位表現については音の再生をし、前記最初の単位表現より後の単位表現については音の再生をしないように、各音ごとに、前記単位表現の再生順序及び再生の有無と、前記ユーザによる所定の動作の繰り返し数を対応づけたテーブルを生成する。前記ユーザによる所定の動作を検知する動作検知手段によって、前記ユーザによる所定の動作を検知したら、前記テーブルを参照する。そして、検知したときの前記所定の動作の繰り返し数に対応する単位表現を特定して、出力手段から出力することとした。このため、所定の動作を繰り返すことにより、楽曲の再生が可能となる。すなわち、前記(1)(2)のいずれによっても、ユーザにとって適した動作の繰り返しを、楽しみながら継続するよう促すことができる。

【図面の簡単な説明】

【0020】

【図1】本発明の実施例１の演奏システムの全体構成を示す図である。

【図2】前記実施例１を示す図であり、(A)は運指を設定する様子を示す図，(B)は特定の音列データを取得する様子を示す図である。

【図3】前記実施例１のルーチンテーブルの一例を示す図である。

【図4】前記実施例１の演奏システムの概要を示すフローチャートである。

【図5】前記実施例１の変形例を示す図である。

【図6】本発明の実施例２を示す図である。

【図7】本発明の実施例３を示す図である。

【図8】本発明の実施例３の応用例と実施例４を示す図である。

【図9】本発明の実施例５を示す図であり、(A)は演奏システムの全体構成を示す図，(B)は演奏用アプリのシステム構成を示すブロック図である。

【図10】前記実施例５のテーブルの一例を示す図である。

【発明を実施するための形態】

【0021】

以下、本発明を実施するための最良の形態を、実施例に基づいて詳細に説明する。

【実施例1】

【0022】

最初に、図１〜図４を参照しながら本発明の実施例１を説明する。本発明は、ユーザによる所定の動作を所定の順序で行うというルーチンを繰り返すことで、音楽や動画などの、視覚的又は聴覚的な表現が経時的に変化する表現を再生するシステム全般に適用可能である。本実施例では、片手の指を特定の順序で動かす「運指」を繰り返すことで、ユーザが選んだ曲を再生し、リハビリの支援を行うことができるような演奏システムを例に挙げて説明する。すなわち、本実施例では、「運指」がユーザによる所定の動作であり、「運指の順序」が所定の動作の順序となる。図１は、本実施例の演奏システムの全体構成を示す図である。図２(A)は本実施例による運指を設定する様子を示す図，図２(B)は特定の曲の音列データを取得する様子を示す図である。図３は、本実施例のルーチンテーブルの一例を示す図である。図４は、前記実施例１の演奏支ステムの概要を示すフローチャートである。なお、ここでいう「音列データ」とは、楽曲を構成する音の音高についての時系列データである。

【0023】

図１に示すように、本実施例の演奏システム１０は、片手用（図示の例では右手用）のボード装置２０が、全ての機能を有する一体型の構成となっており、ＣＰＵ３２を備えている。前記ボード装置２０の表面には、右手の各指に対応する位置に、キーＫ１〜Ｋ５が配置されている。これらキーＫ１〜Ｋ５は、ユーザによるキーを押す動作を検知するためのもので、これら５つのキーＫ１〜Ｋ５と、その動きを検知するセンサＳ１〜Ｓ５により、動作検知部２２が構成されている。また、前記ボード装置２０には、後述する演奏用アプリ５０からの再生指示により、音声を出力する音声出力部２４が設けられている。更に、ボード装置２０には、前記キーＫ１〜Ｋ５の操作によって、特定のユーザに適した運指を設定するモードと、演奏を行うためのモードを切り替えるための切替ボタン２６が設けられている。

【0024】

また、前記ボード装置２０には、データカード４０を差し込むためのカードスロット２８や、インターネット１００に接続してデータの送受信を行うための通信制御部３０が設けられている。前記カードスロット２８は、外部から特定の曲の音列データ等を取得する場合に使用するもので、必要に応じて設けるようにすればよい。また、前記通信制御部３０は、インターネット１００に接続して、他の端末１０２やサーバ１０４から各種情報やデータを取得する場合に使用するもので、これも必要に応じて設けるようにすればよい。

【0025】

本実施例では、前記ボード装置２０には、演奏用アプリ５０があらかじめ導入されている。該演奏用アプリ５０は、プログラムメモリ６０，データメモリ８０を有している。前記プログラムメモリ６０には、ルーチン設定プログラム６２，音列データ取得プログラム６４，テーブル生成プログラム６６，再生指示プログラム６８，ログ取得解析プログラム７０が設けられている。また、データメモリ８０には、運指データ８２，音列データ８４，ルーチンテーブル８６，楽曲データベース８８，ユーザデータ９０が設けられている。前記ユーザデータ９０には、前記ユーザによるルーチンの遂行に関するログデータや、これらのログデータに基づいて生成された解析データ等が含まれる。

【0026】

前記プログラムメモリ６０のルーチン設定プログラム６２は、ユーザによる運指の順序を設定するためのものである。本実施例の演奏システム１０を、ユーザの手指の麻痺を軽減するためのリハビリに用いる場合、どの指を動かすか、また、それらの指を動かす順序をどうするのかを、ユーザの麻痺の状態に応じて決めることで、高いリハビリの効果が期待できる。このような、動かす指の決定やその順序そのものは、ユーザ本人が決めるようにしてもよいし、医師や作業療法士等が決定するようにしてもよい。いずれにしても、運指の順序を設定するには、前記ルーチン設定プログラム６２と前記ボード装置２０を用いて行う。

【0027】

具体的には、ボード装置２０の切替ボタン２６を押すことにより、ルーチン設定プログラム６２を実行し、設定モードに入る（図４のステップＳ１０）。その状態で、図２(A)に示すように、運指の順にキーＫ１〜Ｋ５を押す（ステップＳ１２）。図示の例では、運指の順序は、ポジションを示す数字で示すと１→５→２→４→３（親指→小指→人差指→薬指→中指）となっている。従って、ここでは、１回のルーチンは、親指→小指→人差指→薬指→中指の順で指を動かすことを意味する。このようにキーＫ１〜Ｋ５の操作により、運指データ８２が設定され、データメモリ８０に記憶される。設定を終了するときは、前記切替ボタン２６を押し、設定モードを終了する（ステップＳ１４）。

【0028】

次に、前記音列データ取得プログラム６４は、再生する曲の音列データ（楽曲を構成する音の音高についての時系列データ）を取得するためのものである（図４のステップＳ１６）。再生する曲は、ユーザが好きな曲を選ぶことができるが、ユーザ以外のものが決めるようにしてもよい。音列データの取得は、前記ボード装置２０のカードスロット２８に、楽曲のデータが記憶されているデータカード４０を差し込んでロードするようにしてもよいし、あらかじめ前記データメモリ８０に多数の楽曲の音列データを集積した楽曲データベース８８がある場合には、その中から好きな曲を選択するようにしてもよい。あるいは、前記通信制御部３０を介して、インターネット１００から好きな曲の音列データを取得するようにしてもよい。楽曲の音列データの選択ないし取得の方法は任意であり、前記カードスロット２８や楽曲データベース８８は必要に応じて設ければよい。

【0029】

図２(B)には、取得した音列データの一例が示されている。同図に示す例では、文部省唱歌「故郷」の音列データ８４が示されている。「う・さ・ぎ・お・い・し・か・の・や・ま」の各文字についての音名が、それぞれ「Ｃ・Ｃ・Ｃ・Ｄ・Ｅ・Ｄ・Ｅ・Ｅ・Ｆ・Ｇ」である。本実施例では、一つの音ごとに曲を時系列的に分割し、各音に対してユーザによる動作を割り当てることとしている。すなわち、ユーザによる動作の順序１〜１０に割り当てると、同図に示す音列データ８４のように、順序１にＣ音、順序２にＣ音、順序３にＣ音、・・・順序９にＦ音、順序１０にＧ音が割り当てられることになる。このような音列データ８４は、前記データメモリ８０に記録される。なお、ここでは、一つの音ごとに曲を分割しているが、これは、１つのルーチンに含まれる動作数（本実施例では５本の指を動かすので５つの動作）よりも多く曲を分割することで、前記ルーチンの繰り返しを可能にするためである。

【0030】

次に、プログラムメモリ６０のテーブル生成プログラム６６について説明する。テーブル生成プログラム６６は、前記音列データ取得プログラム６４によって音列データ８４を取得したら、該音列データ８４と前記運指データ８２から、ルーチンテーブル８６を生成し（ステップＳ１８）、データメモリ８０に記憶する。前記ルーチンテーブル８６は、本実施例では、一音ごとに分割した音の時系列に沿った再生順序と、特定の運指とを、ルーチンの繰り返し回数に応じて対応づけたものである。図３に示すルーチンテーブル８６によれば、「うた」が「うさぎおいしかのやま」であり、その各音の再生順序が「１〜１０」であり、「音列データ」が「ＣＣＣＤＥＤＥＥＦＧ」であり、プログラムした運指が「１→５→２→４→３」の繰り返しである。そして、この運指の繰り返しに対応して音が割り当てられる。例えば、１回目のルーチン「１→５→２→４→３」に対応して「Ｃ→Ｃ→Ｃ→Ｄ→Ｅ」の音が割り当てられ、２回目のルーチン「１→５→２→４→３」に対応して「Ｄ→Ｅ→Ｅ→Ｆ→Ｇ」の音が割り当てられる。

【0031】

そうすると、ルーチンの繰り返しに合わせ（曲の進行に合わせ）、同じ指を動かした場合であっても、割り当てられる音が変化することになる。例えば、１回目のルーチンでは、ポジション１の親指でキーＫ１を押したときは「Ｃ」の音がでるが、２回目のルーチンで同じくＫ１を押したときは「Ｄ」の音がでる。同様に、ポジション２のキーＫ２については、１回目は「Ｃ」、２回目は「Ｅ」であり、ポジション３のキーＫ３については、１回目は「Ｅ」で２回目は「Ｇ」である。ポジション４のキーＫ４については、１回目は「Ｄ」で２回目は「Ｆ」であり、ポジション５のキーＫ５については、１回目は「Ｃ」で２回目は「Ｅ」である。このようなルーチンテーブル８６を作成することにより、楽譜が読めなくても、従来の鍵盤楽器が弾けなくても、楽曲のメロディを知っていれば、特定の運指を繰り返すことにより、その曲を演奏することができる。

【0032】

次に、前記プログラムメモリ６０の再生指示プログラム６８は、ユーザによって前記ボード装置２０のキーＫ１〜Ｋ５が所定の順序で押されたときに（ステップＳ２０）、前記ルーチンテーブル８６を参照して、検知したときのルーチンの繰り返し数と、該ルーチン内での動作の順序（すなわち、複数のルーチンを通してのトータルの動作順序）に対応する音を特定して、ボード装置２０に、音の再生指示を行う（ステップＳ２２）。ボード装置２０側では、指示に応じた音を音声出力部２４から出力する（ステップＳ２４）。この繰り返しにより、曲が演奏される（ステップＳ２６）。

【0033】

本実施例では、１回目のルーチンの運指「１→５→２→４→３」のそれぞれに対応して、音「ＣＣＣＤＥ」が出力され、２回目のルーチンの運指「１→５→２→４→３」のそれぞれに対応して、音「ＤＥＥＦＧ」が出力される。３回目以降のルーチンについても、音の分割、運指、演奏される音の割り当ては同様に決められており、所定の回数のルーチンを繰り返すことにより、歌「故郷」のメロディを再生（演奏）することができる。なお、本実施例では、一つのキーを押す動作に対して、一つの音を再生することとしているが、ここでは、音程のみが設定されており、音の長さは決められていない。従って、ユーザがキーを、楽曲の各音に相当する長さで押している間だけ、音が出力される。

【0034】

次に、前記プログラムメモリ６０に含まれるログ取得解析プログラム７０は、前記ユーザによるルーチンの遂行に関するデータ（例えば、キーを押すタイミングの正確度等）を取得し、ユーザ毎にデータの解析を行うものであり、ユーザデータ９０として、データメモリ８０に記憶する。このユーザデータ９０は、インターネット１００を介して他の端末１０２等に送信することが可能である。例えば、リハビリの施設等で行ったルーチンの遂行に関する結果を、インターネット１００を介して、ユーザの自宅等の端末１０２に送るようにしてもよい。また、このユーザデータ９０を、別のリハビリ施設等に送り、参考にするようにしてもよい。

【0035】

このように、実施例１によれば、次のような効果がある。
(1)ユーザによる所定のルーチンの繰り返しにより、所望する曲が再生されるため、ルーチンを構成する特定の運指の繰り返しを楽しみながら行うことができ、リハビリ等に利用できる。
(2)特定の運指を繰り返すことで曲を再生できるため、楽譜が読めなくても従来の鍵盤楽器が弾けなくても曲の演奏ができる。
(3)前記ルーチンの遂行データを取得、蓄積、解析をすることで、キーを押下するタイミングの正確度などのデータを経時的に確認することができ、以後のリハビリ等にも活用できる。
(4)インターネット１００を通じてデータの送受信や必要な情報の取得が可能なため、幅広い楽曲等を活用することができる。
(5)ボード装置２０のみで、運指の設定や演奏ができるため、他の機器を用意する必要がなく、気軽にリハビリや演奏ができる。

【0036】

＜応用例＞・・・次に、図５も参照しながら本実施例の応用例を説明する。前記図１に示すボード装置２０は、右手用であったが、図５(A)に示すように、左手用のボード装置２０Ａを用いてもよい。むろん、右手用と左手用のボード装置を併用してもよいし、これらが一体に形成されたボード装置を用いるようにしてもよい。

【0037】

次に、図５(B)に示すボード装置２０Ｂは、指で押す部分を着脱式のペグにした例である。同図に示すペグＰＡ１〜ＰＡ５は、上部の面積が広く、高さも低いため接触しやすい。また、ペグＰＢ１〜ＰＢ５は、ペグＰＡ１〜ＰＡ５よりは上部の面積が狭く、高さも高くなっている。更に、ペグＰＣ１〜ＰＣ５は、もっとも上部の面積が狭く、高さも高く設定されている。指との接触面積が狭く、高さも高くなるほど、正確に押す難易度が高くなり、ボード装置の巧緻性が変わる。すなわち、難易度の高いリハビリを行いたいときは、ペグＰＣ１〜ＰＣ５を用いるという具合である。

【0038】

もちろん、各指ごとにペグの種類を変えるようにしてもよい。例えば、親指は押しやすいので、ポジション１にはペグＰＣ１を用い、押しにくい小指は、ペグＰＡ５から始めて、うまくいくようになれば、ペグＰＢ５，ＰＣ５に交換して様子を見るという具合である。このように、キーを交換可能にした場合には、どのキーを用いてルーチンを遂行したかということも、前記ユーザデータ９０として記録しておくようにしてもよい。また、ここでは、ペグの上部の面積と高さを変えることとしたが、指が接触する部分の触感が異なるようなものを用いてもよい。表面がつるつるしているものは滑りやすく押しにくいため巧緻性が高いので慣れたユーザ向きとし、表面がざらざらとしており滑りにくいものは巧緻性が低いため、初心者向きに使用するという具合である。このように、巧緻度や触感覚が可変なキーボードを用いることにより、難易度のコントロールを行うようにしてもよい。また、触感の変化により認知機能へ刺激を与えるようにしてもよい。

【実施例2】

【0039】

次に、図６を参照しながら本発明の実施例２を説明する。なお、上述した実施例１と同一ないし対応する構成要素には同一の符号を用いることとする（以下の実施例についても同様）。前記実施例１では、ボード装置２０が全ての機能を有する一体型の構成としたが、本実施例のように、汎用キーボードや汎用音源を用いて本発明のシステムを構成することも可能である。図６に示すように、前記実施例１の演奏用アプリ５０が導入されたコンバータ１７０に、汎用キーボード１６０と、シンセサイザー等の汎用音源やオーディオ装置１８０が接続されている。前記汎用キーボード１６０は、前記実施例１のボード装置２０の動作検知部２２に相当する。前記コンバータ１７０には、前記実施例１の演奏用アプリ５０や、通信制御部３０などを設ける。そして、汎用音源１８０は、前記実施例１の音声出力部２４に相当する。このような構成とすることで、既存のキーボードや音源を利用して、本発明のシステムを容易に構築することができる。なお、前記コンバータ１７０は、演奏システム用の専用品を用いてもよいが、既存のコンピュータに演奏用アプリ５０をインストールして使用することもできる。この場合、前記演奏用アプリ５０自体を、インターネット１００を介して取得するようにしてもよい。

【実施例3】

【0040】

次に、図７(A)及び(B)と、図８(A)を参照して、本発明の実施例３を説明する。上述した実施例１及び実施例２は、ユーザによる特定の運指を繰り返すことで、特定の曲を再生することとしたが、これも一例であり、ユーザによる所定のルーチンは、運指以外の動作であってもよい。例えば、図７(A)に示す演奏システム２００では、複数の交換マットＭＡとＭＢをマトリックス状に配置したマット２０２を用いた一体型のシステムとなっている。そして、マット２０２の任意の位置に、ユーザがタッチすべき複数の交換マットＭＢ１〜ＭＢ５を配置して、それらをユーザが所定の順序で、手で触る，あるいは、足で踏むなどの動作を繰り返すことにより、特定の曲が再生される。すなわち、本実施例の場合は、マットＭＢ１〜ＭＢ５に触ること自体が「ユーザによる所定の動作」であり、マットＭＢ１〜ＭＢ５にどのような順序で触るかが、「ユーザによる所定の動作の順序」である。前記実施例１では、「所定の動作」が「運指」であるため、指でタッチする部分の位置自体は変わらなかったが、本実施例では、接触すべきマットＭＢ１〜ＭＢ５の位置が可変なため、ユーザの身体特性に応じたマットの配置が可能であり、身体障がい児（者）のリハビリや表現活動に活用することができる。また同じ曲を再生するのに幾通りもの接触順序を設定することができるため、動作そのものに飽きにくいという効果がある。なお、使用するマットＭＢの数は必要に応じて適宜増減可能である。

【0041】

図７(B)に示す演奏システム２５０も、ユーザの体を使うためのものであり、図示の例では、ユーザによる特定の動作を検知するための接触媒体として、ボールＢ１〜Ｂ５を用いている。なお、この例では、ボールＢ１〜Ｂ５は、動作を検知するための手段としてのみ用いられ、検知信号は、別に構成された音源装置２６０により検知され、曲が再生される。前記音源装置２６０は、前記実施例１のボード装置２０の動作検知部２２からキーＫ１〜Ｋ５を除いたものに相当し、ボールＢ１〜Ｂ５からの信号を受信するためのセンサ２６２を備えている。本例の場合は、ボールＢ１〜Ｂ５にタッチすること自体が「ユーザによる所定の動作」であり、ボールＢ１〜Ｂ５にどのような順序で触るかが「ユーザによる所定の動作の順序」である。これらボールＢ１〜Ｂ５の数は必要に応じて増減してよいし、接触媒体としての機能を有さない他のボールＢ´と混ぜて使用してもよい。本例の場合の、ユーザの動作検知に用いるボールＢの数は、必要に応じて適宜増減可能である。

【0042】

また、図８(A)に示す合奏システム２８０のように、前記実施例１の演奏システム１０と、実施例３の演奏システム２００，２５０を任意に組み合わせることで、合奏システムとしても利用可能である。この場合、各演奏システムで演奏される曲の音色を変えるようにしてもよいし、演奏システムごとに演奏する音楽パートが異なるようにしてもよい。

【実施例4】

【0043】

次に、図８(B)を参照しながら、本発明の実施例４を説明する。上述した実施例１では、聴覚的表現が経時的に変化する楽曲を、一音ずつに分割し、それを単位表現としたが、分割する数が多いと、単位表現当たりの時間長が短かくなり、障害の程度によってはユーザが対応できない可能性もある。そこで、本実施例のように、一曲をある程度の音楽的まとまりを有する複数のフレーズに分割し、各フレーズに一つの動作を割り当てることで、１回又は数回程度のルーチンの遂行で１曲の演奏が可能な構成としてもよい。図８(B)に示すルーチンテーブル３００の例では、「うさぎおいし」がポジション１の運指に対応し、キーＫ１を押すと「ＣＣＣＤＥＤ」の音列が所定の長さで連続再生される。「かのやま」がポジション５の運指に対応し、キーＫ５を押すと「ＥＥＦＧ」の音列が所定の長さで連続再生される。「こぶなつりし」がポジション２の運指に対応し、キーＫ２を押すと「ＦＧＡＥＦＥ」の音列が所定の長さで連続再生される。以降についても同様である。このように、曲の分割数を減らし、一つの動作に対応する単位表現を長くすることにより、１回又は数回程度のルーチンの繰り返しで１曲の演奏が可能になるため、障害の度合いが強いユーザも楽しみながらリハビリをすることができる。

【実施例5】

【0044】

次に、図９及び図１０を参照しながら、本発明の実施例５を説明する。上述した実施例は、複数の動作を所定の順序で行うルーチンを繰り返すことで、特定の表現を再生することとしたが、本実施例は、ユーザによる所定の動作を単純に繰り返すことで、特定の表現を再生することとした例である。本実施例では、歩数計やスマートフォンなどに搭載された加速度センサを、ユーザの動作を検知する手段として用い、歩行のステップ（着地）を検出してメロディを再生するものである。図９(A)に示すように、本実施例の演奏システム４００は、ユーザが装着ないし携帯する歩数計４１０や、スマートフォン４２０に、演奏用アプリ４５０を導入した構成となっている。これら歩数計４１０やスマートフォン４２０には、加速度センサ４３０や、図示しないＣＰＵが設けられている。本実施例では、歩行（着地）が「ユーザによる所定の動作」であり、通常は左右の足を交互に着地させるが、同じ足を連続して着地させてもよい。

【0045】

前記演奏用アプリ４５０は、プログラムメモリ４６０，データメモリ４８０を有している。前記プログラムメモリ４６０には、音列データ取得プログラム４６２，音価データ取得プログラム４６４，テーブル生成プログラム４６６，再生指示プログラム４６８，ログ取得解析プログラム４７０が設けられている。また、データメモリ４８０には、音列データ４８２，音価データ４８４，テーブル４８６，楽曲データベース４９０が設けられている。前記ユーザデータ４９０は、前記ユーザによる所定の動作の遂行に関するログデータや、これらのログデータに基づいて生成された解析データ等が含まれる。

【0046】

前記プログラムメモリ４６０の音列データ取得プログラム４６２は、再生する曲の音列データ（楽曲を構成する音の音高についての時系列データ）を取得するためのものである。再生する曲は、ユーザが好きな曲を選んでもよいし、ユーザ以外のものが決めてもよい。音列データの取得は、前記歩数計４１０やスマートフォン４２０に設けられた図示しないカードスロットに、前記実施例１と同様のデータカード４０を差し込んでロードするようにしてもよいし、あらかじめ前記データメモリ４８０に多数の楽曲の音列データを集積した楽曲データベース４８８がある場合には、その中から好きな曲を選択するようにしてもよい。あるいは、通信機能を有する場合には、インターネットから好きな曲の音列データを取得するようにしてもよい。楽曲の音列データの選択ないし取得の方法は任意であり、前記カードスロットや楽曲データベース４８８は必要に応じて設ければよい。

【0047】

また、前記プログラムメモリ４６０の音価データ取得プログラム４６４は、前記音列データ取得プログラム４６２によって取得した音列データの、楽譜上の音の長さである音価データを取得するためのものである。このような音価データ４８４の取得は、例えば、通信カラオケ用のＭＩＤＩデータなどからの抽出が可能である。また、前記音価データ４８４の取得を、前記音列データ取得プログラム４６２で合わせて行う場合には、前記音価データ取得プログラム４６４を別途設ける必要はない。また、後述するように、本実施例では、二つのモードで再生を行うことができるが、そのうち、楽曲に合わせてユーザが歩き方を変えるモードのみを行う場合には、前記音価データ４８４はかならずしも設ける必要はない。

【0048】

次に、プログラムメモリ４６０のテーブル生成プログラム４６６について説明する。本実施例では、前記テーブル生成プログラム４６６は、ユーザの選択により、以下の２つの再生モードに対応するテーブル４８６を生成可能となっている。ここで、２つの再生モードについて説明すると、
モード１は、演奏する楽曲のメロディのリズムで左右（あるいは片方）の足を着地しながら歩く、すなわち、楽曲に合わせて歩き方を変えることで、歩行のステップに合わせてメロディを奏でるモードである。また、
モード２は、歩行の１歩に対して、演奏するメロディを構成する音の中の最少の音価（楽音に関する楽譜上の時間長）の単位を当てはめ、それより長い場合は空打ち（演奏しないステップ）とすることで、一定のテンポで歩くことにより、メロディを正確に演奏するモードである。

【0049】

まず、モード１の場合のテーブル生成プログラム４６６の機能を説明すると、該テーブル生成プログラム４６６は、前記音列データ取得プログラム４６２によって音列データ４８２を取得したら、該音列データ４８２からテーブル４８６Ａを生成し、データメモリ４８０に記憶する。具体的には、楽曲のメロディを構成する各々の音を所定の単位として、前記楽曲を分割し、各音にユーザによる歩行ステップを割り当てたテーブルを生成する。図１０(A)には、モード１の場合に生成されるテーブル４８６Ａの一例が示されている。前記テーブル４８６Ａでは、「故郷」のメロディを一音ごとに分割し、分割した音の時系列に沿った再生順序を、歩行ステップの順に当てはめている。例えば、ステップ１についてはＣ音を再生し、ステップ２についてはＣ音を再生するという具合である。ここでは、テーブル４８６Ａの生成に際し、音の長さは考慮されていないため、メロディを正確に再生するためには、着地する際に、ユーザが演奏する曲のリズムに合わせて着地する必要がある。このように、リズムを意識しながら歩行することで、リハビリ等に利用できる。

【0050】

次に、モード２の場合のテーブル生成プログラム４６６の機能を説明すると、該テーブル生成プログラム４６６は、前記音列データ取得プログラム４６２によって音列データ４８２を取得し、前記音価データ取得プログラム４６４によって音価データ４８４を取得したら、これらのデータからテーブル４８６Ｂを生成し、データメモリ４８０に記憶する。具体的には、楽曲のメロディを構成する多数の音のうちの最少音価を所定の単位として、前記楽曲を構成する各音を最少音価で分割する。そして、分割された各音の最初の単位表現については音の再生をし、前記最初の単位表現より後の単位表現については音の再生をしないように、各音ごとに、前記単位表現の再生順序及び再生の有無と、前記ユーザによる歩行ステップを割り当てたテーブルを生成する。

【0051】

図１０(B)には、モード２の場合に生成されるテーブル４８６Ｂの一例が示されている。同図に示すように、「故郷」の場合には、メロディの中の最少音価は８分音符である。そして、この８分音符（最少音価）を「１」とした場合の他の音の相対的な音価は、音列「Ｃ→Ｃ→Ｃ→Ｄ→Ｅ→Ｄ→Ｅ→Ｅ→Ｆ→Ｇ→休符」に対応して、音価「２→２→２→３→１→２→２→２→２→４→２」となる。例えば、図１０(B)において、最初の１小節をみると、メロディは「Ｃ→Ｃ→Ｃ」であり、その音価は「２→２→２」である。すなわち、最少音価を分割の単位として、各音を単位表現に分割すると、最初の「Ｃ」については、２つの単位表現に分割される（図示の例では、２番目、３番目の音についても同様）。ここで、各分割表現に対し、歩行ステップ１と歩行ステップ２を割り当てた場合、歩行ステップ１のみを発音するステップとして指定し（図１０(B)中の「○」）、歩行ステップ２は発音しない（空打ち）ステップとして指定（図１０(B)中の「×」）する。歩行ステップ３以降についても、同様に発音するステップと発音しないステップに指定することにより、一定のテンポで歩けば、メロディが正確に演奏されるようになる。

【0052】

次に、前記プログラムメモリ４６０の再生指示プログラム４６８は、加速度センサ４３０によってユーザによる歩行ステップ（着地）が検知されると、モードに応じ、モード１であれば、前記テーブル４８６Ａを参照し、モード２であれば、前記テーブル４８６Ｂを参照して、検知したときの歩行ステップの順序（動作の繰り返し回数）に対応する音を特定して、音の再生指示を行う。歩数計４１０やスマートフォン４２０では、前記指示に応じた音を音声出力部（図示せず）から出力する。この繰り返しにより、曲が演奏される。

【0053】

なお、前記プログラムメモリ４６０に含まれるログ取得解析プログラム４７０は、前記ユーザによる所定の動作の遂行に関するデータ（例えば、モード１であれば、リズムの正確さや、モード２であれば歩行テンポが一定かどうか等）を取得し、ユーザ毎にデータの解析を行うものであり、ユーザデータ４９０として、データメモリ４８０に記憶する。このユーザデータ４９０は、インターネット等を介して他の端末等に送信することが可能である。例えば、ユーザの自宅等で行った動作の遂行に関する結果を、インターネット等を介して、リハビリ施設等に送るようにしてもよい。このように、本実施例によれば、ユーザが、演奏するメロディのリズムに合わせて歩行することにより、あるいは、一定のテンポで歩行することにより、楽曲のメロディが正確に演奏されるため、楽しみながら歩行を行うことができ、リハビリ等に利用できるという効果がある。

【0054】

なお、本発明は、上述した実施例に限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加えることができる。例えば、以下のものも含まれる。
(1)前記実施例１〜３では、１曲に含まれる音を一音ずつ分割し、一音ごとにユーザの動作を割り当てることとしたが、これも一例であり、上述した実施例４のように分割する単位を変えることで難易度が可変な構成としてもよい。
(2)前記実施例で示したボード装置２０，２０Ａ，２０Ｂ，マット２０２，ボールＢ１〜Ｂ５，汎用キーボード１６０も一例であり、ユーザの所定の動作を検知できるものであれば、他の公知の各種の接触媒体が適用可能である。例えば、タッチパネル式のタブレット端末やＰＣ等をユーザによる動作の検知に使用してもよい。

【0055】

(3)前記実施例１では、必要に応じてインターネット１００に接続してデータの送受信や情報の取得・提供を行うこととしたが、これも一例であり、ネットワークの利用は必要に応じて行うようにしてよい。また、ネットワークから取得するものとしては、楽曲の音列データや、運指順序のデータや、演奏用アプリ５０等も含まれ、更に、インターネットを介して、ルーチンの実行を行うようにしてよい。例えば、図１に示す端末１０２のキーボード等を利用してユーザが特定の運指を行い、そのデータをインターネット１００を介してサーバ１０４に送ることにより、サーバ１０４側からその運指に対応する音の再生指示を端末１０２に送り、ユーザの端末１０２で音声出力するという具合である。
(4)前記実施例５では、ユーザによる所定の動作を歩行ステップとしたが、これも一例であり、まりつきやドリブル等の動作を検出して、その動作を一定の速度で行えば、前記実施例５のモード２のように、楽曲が演奏されるものであってもよい。

【0056】

(5)前記実施例では、楽曲を特定の表現とした例を挙げたが、これも一例であり、本発明は、視覚的又は聴覚的な表現の少なくとも一方が経時的に変化する表現全般に適用可能である。例えば、前記実施例１のようなメロディの演奏だけでなく、文字列（文章の提示、文章の音読、音声データ）のような表現であってもよく、ディスプレイ等の表示装置に表示されるテキストが変化するようにしてもよい。また、これらテキストの変化に対応して音声出力がされるようにしてもよい。このほか、静止画をスライドショーのように表示してもよいし、クイズ問題などに利用してもよい。更に、音と動きを組わせた動画を再生するようにしてもよい。

【0057】

(6)本発明は、所定の動作を所定の順序で行うルーチンを繰り返すことで、あるいは、所定の動作を繰り返すことで、表現を再生するものであるため、簡単な演奏装置（楽器）としても用いることができるし、上述した実施例１のようにリハビリに適用することでその効果を引き出すことができる。また、リハビリテーションや楽器としてのみではなく、デイケアプログラムや、障害児（者）の療育、特別支援教育、知育玩具等として広く利用可能である。

【産業上の利用可能性】

【0058】

本発明によれば、(1)聴覚的な表現が経時的に変化する楽曲を、ユーザによる所定のルーチンの繰り返しにより再生する。前記ルーチンには、複数の所定の動作が含まれ、それらの動作を行う手順があらかじめ設定される。そして、前記楽曲を構成する音の音高についての時系列データである音列データを取得し、それを時系列に沿って所定の単位に分割したときの単位表現の再生順序と、前記ルーチンに含まれる複数の動作とを、前記ルーチンの繰り返し数に応じて対応づけたテーブルを生成する。前記ルーチンが、複数の指を所定の順序で動かす運指であり、前記複数の動作検知手段が、前記複数の指のそれぞれに対応する複数のキーであって、前記ユーザによるキーを押す動作を検知するものであり、かつ、前記キーは、前記指と接触する部分の面積又は触感の少なくとも一方が異なる他のキーと交換可能である。前記ルーチンに含まれる複数の所定の動作の各々に対応する複数の動作検知手段によって、前記ユーザによる所定の動作を検知したら、前記テーブルを参照して、検知したときの前記ルーチンの繰り返し数と、該ルーチン内での前記動作の順序に対応する単位表現を特定して、出力手段から出力することとした。このため、複数の所定の動作を所定の順序で行うルーチンを繰り返すことにより、楽曲の再生が可能となる。

【0059】

(2)あるいは、聴覚的な表現が経時的に変化する楽曲を、ユーザによる所定の動作の繰り返しにより再生する。前記楽曲を構成する音の音高についての時系列データである音列データを取得し、それを時系列に沿って所定の単位に分割したときの単位表現の再生順序と、前記所定の動作の繰り返し数を対応づけたテーブルを生成する。前記楽曲のメロディを構成する音のうちの最少音価を前記所定の単位として、前記メロディを構成する各々の音が分割されるとともに、前記テーブルの生成において、前記音を最少音価で分割したときの最初の単位表現については音の再生をし、前記最初の単位表現より後の単位表現については音の再生をしないように、各音ごとに、前記単位表現の再生順序及び再生の有無と、前記ユーザによる所定の動作の繰り返し数を対応づけたテーブルを生成する。前記ユーザによる所定の動作を検知する動作検知手段によって、前記ユーザによる所定の動作を検知したら、前記テーブルを参照する。そして、検知したときの前記所定の動作の繰り返し数に対応する単位表現を特定して、出力手段から出力することとした。このため、所定の動作を繰り返すことにより、楽曲の再生が可能となる。

【0060】

このため、表現再生システム等の用途に適用できる。特に、ユーザにとって適した動作の繰り返しを、楽しみながら継続するよう促すことができるため、リハビリ支援用のシステムの用途に好適である。

【符号の説明】

【0061】

１０：演奏システム
２０，２０Ａ，２０Ｂ：ボード装置
２２：動作検知部
２４：音声出力部
２６：切替ボタン
２８：カードスロット
３０：通信制御部
３２：ＣＰＵ
３６：キーボード
４０：データカード
５０：演奏用アプリ
６０：プログラムメモリ
６２：ルーチン設定プログラム
６４：音列データ取得プログラム
６６：テーブル生成プログラム
６８：再生指示プログラム
７０：ログ取得解析プログラム
８０：データメモリ
８２：運指データ
８４：音列データ
８６：ルーチンテーブル
８８：楽曲データベース
９０：ユーザデータ
１００：インターネット
１０２：端末
１０４：サーバ
１５０：演奏システム
１６０：汎用キーボード
１７０：コンバータ
１８０：汎用音源
２００：演奏システム
２０２：マット
２５０：演奏システム
２６０：音源装置
２６２：センサ
２８０：合奏システム
３００：ルーチンテーブル
４００：演奏システム
４１０：歩数計
４２０：スマートフォン
４３０：加速度センサ
４５０：演奏用アプリ
４６０：プログラムメモリ
４６２：音列データ取得プログラム
４６４：音価データ取得プログラム
４６６：テーブル生成プログラム
４６８：再生指示プログラム
４７０：ログ取得解析プログラム
４８０：データメモリ
４８２：音列データ
４８４：音価データ
４８６，４８６Ａ，４８６Ｂ：テーブル
４８８：楽曲データベース
４９０：ユーザデータ
ＭＡ，ＭＢ，ＭＢ１〜ＭＢ５：交換マット
Ｋ１〜Ｋ５：キー
ＰＡ１〜ＰＡ５，ＰＢ１〜ＰＢ５，ＰＣ１〜ＰＣ５：ペグ
Ｂ１〜Ｂ５，Ｂ´：ボール
Ｓ１〜Ｓ５：センサ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】