特許 5942627 演奏装置、方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5942627

(24)【登録日】2016年6月3日

(45)【発行日】2016年6月29日

(54)【発明の名称】演奏装置、方法及びプログラム

(51)【国際特許分類】

   G10H 1/00 20060101AFI20160616BHJP

   G10H 1/053 20060101ALI20160616BHJP

【ＦＩ】

   G10H1/00 A

   G10H1/00 Z

   G10H1/053 A

【請求項の数】4

【全頁数】17

(21)【出願番号】特願2012-137064(P2012-137064)

(22)【出願日】2012年6月18日

(65)【公開番号】特開2014-2249(P2014-2249A)

(43)【公開日】2014年1月9日

【審査請求日】2015年6月10日

(73)【特許権者】

【識別番号】000001443

【氏名又は名称】カシオ計算機株式会社

(74)【代理人】

【識別番号】100106002

【弁理士】

【氏名又は名称】正林 真之

(74)【代理人】

【識別番号】100120891

【弁理士】

【氏名又は名称】林 一好

(74)【代理人】

【識別番号】100154748

【弁理士】

【氏名又は名称】菅沼 和弘

(72)【発明者】

【氏名】春日 一貴

【審査官】 間宮 嘉誉

(56)【参考文献】

【文献】 特開２００４−２５２１４９（ＪＰ，Ａ）

【文献】 特開２０１２−２９１９（ＪＰ，Ａ）

【文献】 特開２００７−１８４８３４（ＪＰ，Ａ）

【文献】 特開２０１３−１９５６４５（ＪＰ，Ａ）

【文献】 特開２００３−２９５８６０（ＪＰ，Ａ）

【文献】 特開２０１０−６６６６０（ＪＰ，Ａ）

【文献】 特開２００９−３１４５７（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ１０Ｈ １／００−７／１２

(57)【特許請求の範囲】

【請求項1】

演奏操作によって演奏部材が仮想的に打撃する仮想打面を有し、当該仮想打面が仮想空間内の所定の位置および角度に配置される仮想パッドに対して前記演奏操作がなされた時に、所定の楽音の発音を指示する発音指示手段と、
前記演奏操作がなされた時から、前記仮想打面と前記演奏部材とで形成されるピッチ角の取得を開始するとともに、前記演奏操作がなされた時点における前記演奏部材を起点とし、当該起点における演奏部材とその後の前記演奏部材とで形成されるヨー角の取得を開始するピッチ角・ヨー角取得出手段と、
前記演奏操作がなされた時点から所定時間内に、前記取得されたピッチ角及びヨー角が所定の条件を満たした場合に、前記発音を指示された楽音の消音を指示する消音指示手段と、
を備えることを特徴とする演奏装置。

【請求項2】

前記消音指示手段は、前記演奏操作がなされた後における前記ピッチ角・ヨー角取得出手段により取得された前記ピッチ角が第１の閾値を超えず、かつ、前記演奏操作がなされた後におけるピッチ角・ヨー角取得出手段により取得された前記ヨー角が第２の閾値を超えた場合に、前記消音する指示をすることを特徴とする請求項１に記載の演奏装置。

【請求項3】

演奏操作によって演奏部材が仮想的に打撃する仮想打面を有し、当該仮想打面が仮想空間内の所定の位置および角度に配置され、前記演奏部材のピッチ角を検出するピッチ角検出手段と、前記演奏部材のヨー角を検出するヨー角検出手段と、を備える演奏装置が実行する方法であって、
前記演奏部材により前記仮想打面に対して前記演奏操作がなされた時に、所定の楽音の発音を指示する発音指示ステップと、
前記演奏操作がなされた時から、前記仮想打面と前記演奏部材とで形成されるピッチ角の取得を開始するとともに、前記演奏操作がなされた時点における前記演奏部材を起点とし、当該起点における演奏部材とその後の前記演奏部材とで形成されるヨー角の取得を開始するピッチ角・ヨー角取得出ステップと、
前記演奏操作がなされた時点から所定時間内に、前記取得されたピッチ角及びヨー角が所定の条件を満たした場合に、前記発音を指示された楽音の消音を指示する消音指示ステップと、
を含む方法。

【請求項4】

演奏操作によって演奏部材が仮想的に打撃する仮想打面を有し、当該仮想打面が仮想空間内の所定の位置および角度に配置され、前記演奏部材のピッチ角を検出するピッチ角検出手段と、前記演奏部材のヨー角を検出するヨー角検出手段と、を備える演奏装置として用いられるコンピュータに、
前記演奏部材により前記仮想打面に対して前記演奏操作がなされた時に、所定の楽音の発音を指示する発音指示ステップと、
前記演奏操作がなされた時から、前記仮想打面と前記演奏部材とで形成されるピッチ角の取得を開始するとともに、前記演奏操作がなされた時点における前記演奏部材を起点とし、当該起点における演奏部材とその後の前記演奏部材とで形成されるヨー角の取得を開始するピッチ角・ヨー角取得出ステップと、
前記演奏操作がなされた時点から所定時間内に、前記取得されたピッチ角及びヨー角が所定の条件を満たした場合に、前記発音を指示された楽音の消音を指示する消音指示ステップと、
を実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、演奏装置、方法及びプログラムに関する。

【背景技術】

【0002】

従来、演奏者の演奏動作を検知すると、演奏動作に応じた電子音を発音する演奏装置が提案されている。例えば、スティック状の部材のみで打楽器音を発音する演奏装置（エアドラム）が知られている。この演奏装置では、演奏者が、センサを内蔵するスティック状の部材を手で保持して振るといった、あたかもドラムを打撃するような演奏動作をすると、センサが当該演奏動作を検知し、打楽器音が発音される。
このような演奏装置によれば、現実の楽器を必要とせずに当該楽器の楽音を発音することができるため、演奏者は、演奏場所や演奏スペースに制約を受けずに演奏を楽しむことができる。

【0003】

このような演奏装置として、例えば、特許文献１には、演奏者のスティック状の部材を用いた演奏動作を撮像すると共に、当該演奏動作の撮像画像と、楽器セットを示す仮想画像とを合成した合成画像をモニタに表示し、スティック状の部材と仮想的な楽器セットとの位置情報に応じて所定の楽音を発音するように構成された楽器ゲーム装置が提案されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特許第３５９９１１５号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１に記載の楽器ゲーム装置では、実際の楽器セットが存在しないため、打楽器等の発音後に実際に手で触ることにより消音するというチョーク奏法を実現させることは困難であった。
また、スティック状の部材に消音スイッチを設けることで消音する方法が考えられるが、この方法は生のドラム又は電子ドラムのチョーク奏法とは異なるため、実際のドラムセットにおけるチョーク奏法を実現させることは困難であった。

【0006】

本発明は、このような状況に鑑みてなされたものであり、演奏者が、あたかも実際のドラムセットにおけるチョーク奏法を行っているかのような感覚を得られる演奏装置を提供することを目的とする。

【課題を解決するための手段】

【0007】

上記目的を達成するため、本発明の一態様の演奏装置は、
演奏操作によって演奏部材が仮想的に打撃する仮想打面を有し、当該仮想打面が仮想空間内の所定の位置および角度に配置される仮想パッドに対して前記演奏操作がなされた時に、所定の楽音の発音を指示する発音指示手段と、
前記演奏操作がなされた時から、前記仮想打面と前記演奏部材とで形成されるピッチ角の取得を開始するとともに、前記演奏操作がなされた時点における前記演奏部材を起点とし、当該起点における演奏部材とその後の前記演奏部材とで形成されるヨー角の取得を開始するピッチ角・ヨー角取得出手段と、
前記演奏操作がなされた時点から所定時間内に、前記取得されたピッチ角及びヨー角が所定の条件を満たした場合に、前記発音を指示された楽音の消音を指示する消音指示手段と、
を備えることを特徴とする。

【発明の効果】

【0008】

本発明によれば、演奏者は、あたかも実際のドラムセットにおけるチョーク奏法を行っているかのような感覚を得られる。

【図面の簡単な説明】

【0009】

【図1】本発明の演奏装置の一実施形態の概要を示す図である。

【図2】上記演奏装置を構成するスティック部のハードウェア構成を示すブロック図である。

【図3】上記演奏装置を構成するカメラユニット部のハードウェア構成を示すブロック図である。

【図4】上記演奏装置を構成するセンターユニット部のハードウェア構成を示すブロック図である。

【図5】本発明の演奏装置の一実施形態に係るセットレイアウト情報を示す図である。

【図6】上記セットレイアウト情報が示す概念を仮想空間上で可視化した図である。

【図7】上記スティック部の処理の流れを示すフローチャートである。

【図8】上記カメラユニット部の処理の流れを示すフローチャートである。

【図9】上記センターユニット部の処理の流れを示すフローチャートである。

【図10】シンバルのチョーク奏法について説明する図である。

【図11】シンバルのチョーク奏法について説明する図である。

【図12】シンバルのチョーク奏法におけるスティック部の回転運動を定量的に表した図である。

【図13】シンバルのチョーク奏法におけるスティック部の回転運動を定量的に表した図である。

【図14】シンバルのチョーク奏法におけるスティック部の回転運動を定量的に表した図である。

【発明を実施するための形態】

【0010】

以下、本発明の実施形態について、図面を用いて説明する。

【0011】

［演奏装置１の概要］
初めに、図１を参照して、本発明の一実施形態としての演奏装置１の概要について説明する。
図１（１）に示すように、本実施形態の演奏装置１は、スティック部１０Ｒ，１０Ｌと、カメラユニット部２０と、センターユニット部３０と、を含んで構成される。本実施形態の演奏装置１は、２本のスティックを用いた仮想的なドラム演奏を実現するため、２つのスティック部１０Ｒ，１０Ｌを備えることとしているが、スティック部の数は、これに限られず１つとしてもよく、３つ以上としてもよい。なお、以下では、スティック部１０Ｒ，１０Ｌを個々に区別する必要がない場合には、両者を総称して「スティック部１０」と呼ぶ。

【0012】

スティック部１０は、長手方向に延びるスティック状の演奏部材である。演奏者は、スティック部１０の一端（根元側）を手に持ち、手首などを中心として振り上げたり振り下ろしたりする動作を、演奏動作として行う。このような演奏者の演奏動作を検知するため、スティック部１０の他端（先端側）には、加速度センサ及び角速度センサなどの各種センサが設けられている（後述のモーションセンサ部１４）。スティック部１０は、これらの各種センサにより検知された演奏動作に基づいて、センターユニット部３０にノートオンイベントを送信する。
また、スティック部１０の先端側には、後述するマーカー部１５（図２参照）が設けられており、撮像時にカメラユニット部２０がスティック部１０の先端を判別可能に構成されている。

【0013】

カメラユニット部２０は、光学式の撮像装置として構成され、スティック部１０を保持して演奏動作を行う演奏者を被写体として含む空間（以下、「撮像空間」と呼ぶ）を、所定のフレームレートで撮像し、動画像のデータとして出力する。カメラユニット部２０は、撮像空間内における発光中のマーカー部１５の位置座標を特定し、当該位置座標を示すデータ（以下、「位置座標データ」と呼ぶ）をセンターユニット部３０に送信する。

【0014】

センターユニット部３０は、スティック部１０からノートオンイベントを受信すると、受信時のマーカー部１５の位置座標データに応じて、所定の楽音を発音する。具体的には、センターユニット部３０は、カメラユニット部２０の撮像空間に対応付けて、図１（２）に示す仮想ドラムセットＤの位置座標データを記憶しており、当該仮想ドラムセットＤの位置座標データと、ノートオンイベント受信時のマーカー部１５の位置座標データとに基づいて、スティック部１０が仮想的に打撃した楽器を特定し、当該楽器に対応する楽音を発音する。

【0015】

次に、このような本実施形態の演奏装置１の構成について具体的に説明する。

【0016】

［演奏装置１の構成］
初めに、図２〜図４を参照して、本実施形態の演奏装置１の各構成要素、具体的には、スティック部１０、カメラユニット部２０及びセンターユニット部３０の構成について説明する。

【0017】

［スティック部１０の構成］
図２は、スティック部１０のハードウェア構成を示すブロック図である。
図２に示すように、スティック部１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、モーションセンサ部１４と、マーカー部１５と、データ通信部１６と、スイッチ操作検出回路１７と、を含んで構成される。

【0018】

ＣＰＵ１１は、スティック部１０全体の制御を実行し、例えば、モーションセンサ部１４から出力されるセンサ値に基づいて、スティック部１０の姿勢の検知、ショット検出及びアクション検出に加え、マーカー部１５の発光・消灯などの制御を実行する。このとき、ＣＰＵ１１は、マーカー特徴情報をＲＯＭ１２から読み出し、当該マーカー特徴情報に従い、マーカー部１５の発光制御を実行する。また、ＣＰＵ１１は、データ通信部１６を介して、センターユニット部３０との間の通信制御を実行する。

【0019】

ＲＯＭ１２は、ＣＰＵ１１により各種処理が実行されるための処理プログラムを格納する。また、ＲＯＭ１２は、マーカー部１５の発光制御に用いるマーカー特徴情報を格納する。ここで、カメラユニット部２０は、スティック部１０Ｒのマーカー部１５（以下、「第１マーカー」と適宜呼ぶ）と、スティック部１０Ｌのマーカー部１５（以下、「第２マーカー」と適宜呼ぶ）とを区別する必要がある。マーカー特徴情報とは、第１マーカーと第２マーカーとをカメラユニット部２０が区別するための情報であり、例えば、発光時の形状、大きさ、色相、彩度、あるいは輝度に加え、発光時の点滅スピードなどを用いることができる。
スティック部１０ＲのＣＰＵ１１及びスティック部１０ＬのＣＰＵ１１は、夫々異なるマーカー特徴情報を読み出し、夫々のマーカーの発光制御を実行する。

【0020】

ＲＡＭ１３は、モーションセンサ部１４が出力した各種センサ値など、処理において取得され又は生成された値を格納する。

【0021】

モーションセンサ部１４は、スティック部１０の状態を検知するための各種センサであり、所定のセンサ値を出力する。ここで、モーションセンサ部１４を構成するセンサとしては、例えば、加速度センサ、角速度センサ及び磁気センサなどを用いることができる。

【0022】

演奏者は、スティック部１０の一端（根元側）を保持し、手首などを中心とした振り上げ振り下ろし動作を行うことで、スティック部１０に対して運動を生じさせる。その際にこの運動に応じたセンサ値がモーションセンサ部１４から出力されるようになっている。

【0023】

モーションセンサ部１４からのセンサ値を受け付けたＣＰＵ１１は、演奏者が持っているスティック部１０の状態、を検知する。一例としては、ＣＰＵ１１は、スティック部１０による仮想的な楽器の打撃タイミング（以下、「ショットタイミング」とも呼ぶ）を検知する。ショットタイミングは、スティック部１０が振り下ろされてから停止される直前のタイミングであり、スティック部１０にかかる振り下ろし方向とは逆向きの加速度の大きさがある閾値を超えたタイミングである。

【0024】

更に、モーションセンサ部１４のセンサ値には、演奏者がスティック部１０を持ったときの長手方向と水平面とのなす角である「ピッチ角」及び、当該長手方向と、水平面と直交する面とのなす角である「ヨー角」を検出するために必要なデータも含まれる。

【0025】

マーカー部１５は、スティック部１０の先端側に設けられた発光体であり 、例えばＬＥＤなどで構成され、ＣＰＵ１１からの制御に応じて発光及び消灯する。具体的には、マーカー部１５は、ＣＰＵ１１によってＲＯＭ１２から読み出されたマーカー特徴情報に基づいて発光する。このとき、スティック部１０Ｒのマーカー特徴情報と、スティック部１０Ｌのマーカー特徴情報とは異なるため、カメラユニット部２０は、スティック部１０Ｒのマーカー部（第１マーカー）の位置座標と、スティック部１０Ｌのマーカー部（第２マーカー）の位置座標とを個々に区別し取得することができる。

【0026】

データ通信部１６は、少なくともセンターユニット部３０との間で所定の無線通信を行う。所定の無線通信は、任意の方法で行うこととしてよく、本実施形態では、赤外線通信によりセンターユニット部３０との間での無線通信を行う。なお、データ通信部１６は、カメラユニット部２０との間で無線通信を行うこととしてもよく、また、スティック部１０Ｒ及びスティック部１０Ｌとの間で無線通信を行うこととしてもよい。

【0027】

スイッチ操作検出回路１７は、スイッチ１７１と接続され、当該スイッチ１７１を介した入力情報を受け付ける。

【0028】

［カメラユニット部２０の構成］
スティック部１０の構成についての説明は、以上である。続いて、図３を参照して、カメラユニット部２０の構成について説明する。
図３は、カメラユニット部２０のハードウェア構成を示すブロック図である。
カメラユニット部２０は、ＣＰＵ２１と、ＲＯＭ２２と、ＲＡＭ２３と、イメージセンサ部２４と、データ通信部２５と、を含んで構成される。

【0029】

ＣＰＵ２１は、カメラユニット部２０全体の制御を実行し、例えば、イメージセンサ部２４が検出したマーカー部１５の位置座標データ及びマーカー特徴情報に基づいて、スティック部１０Ｒ、１０Ｌのマーカー部１５（第１マーカー及び第２マーカー）の夫々の位置座標を算出し、夫々の算出結果を示す位置座標データを出力する制御を実行する。また、ＣＰＵ２１は、データ通信部２５を介して、算出した位置座標データなどをセンターユニット部３０に送信する通信制御を実行する。

【0030】

ＲＯＭ２２は、ＣＰＵ２１により各種処理が実行されるための処理プログラムを格納する。ＲＡＭ２３は、イメージセンサ部２４が検出したマーカー部１５の位置座標データなど、処理において取得され又は生成された値を格納する。また、ＲＡＭ２３は、センターユニット部３０から受信したスティック部１０Ｒ、１０Ｌの夫々のマーカー特徴情報も併せて格納する。

【0031】

イメージセンサ部２４は、例えば、光学式のカメラであり、スティック部１０を持って演奏動作を行う演奏者の動画を所定のフレームレートで撮像する。また、イメージセンサ部２４は、フレームごとの撮像データをＣＰＵ２１に出力する。なお、撮像画像内におけるスティック部１０のマーカー部１５の位置座標の特定については、イメージセンサ部２４が行うこととしてもよく、ＣＰＵ２１が行うこととしてもよい。同様に、撮像したマーカー部１５のマーカー特徴情報についても、イメージセンサ部２４が特定することとしてもよく、ＣＰＵ２１が特定することとしてもよい。

【0032】

データ通信部２５は、少なくともセンターユニット部３０との間で所定の無線通信（例えば、赤外線通信）を行う。なお、データ通信部１６は、スティック部１０との間で無線通信を行うこととしてもよい。

【0033】

［センターユニット部３０の構成］
カメラユニット部２０の構成についての説明は、以上である。続いて、図４を参照して、センターユニット部３０の構成について説明する。
図４は、センターユニット部３０のハードウェア構成を示すブロック図である。
センターユニット部３０は、ＣＰＵ３１と、ＲＯＭ３２と、ＲＡＭ３３と、スイッチ操作検出回路３４と、表示回路３５と、音源装置３６と、データ通信部３７と、を含んで構成される。

【0034】

ＣＰＵ３１は、センターユニット部３０全体の制御を実行し、例えば、スティック部１０から受信したショット検出及びカメラユニット部２０から受信したマーカー部１５の位置座標に基づいて、所定の楽音を発音する制御などを実行する。また、ＣＰＵ３１は、データ通信部３７を介して、スティック部１０及びカメラユニット部２０との間の通信制御を実行する。

【0035】

ＲＯＭ３２は、ＣＰＵ３１の実行する各種処理の処理プログラムを格納する。また、ＲＯＭ３２は、種々の音色の波形データ、例えば、フルート、サックス、トランペットなどの管楽器、ピアノなどの鍵盤楽器、ギターなどの弦楽器、バスドラム、ハイハット、スネア、シンバル、タムなど打楽器の波形データ（音色データ）を、位置座標などと対応付けて格納する。

【0036】

音色データ等の格納方法としては、例えば、図５にセットレイアウト情報として示すように、セットレイアウト情報は、第１パッド〜第ｎパッドまでのｎ個のパッド情報を有しており、更に各パッド情報にパッドの有無（後述する仮想空間における仮想パッドの存在の有無）、位置（後述する仮想空間における位置座標）、角度（後述する仮想空間における仮想パッドの略水平面に対する角度）、サイズ（仮想パッドの形状及び径など）、音色（波形データ）などが対応づけられて格納されている。

【0037】

ここで、図６を参照して、具体的なセットレイアウトについて説明する。図６は、センターユニット部３０のＲＯＭ３２に格納されたセットレイアウト情報（図５参照）が示す概念を仮想空間上で可視化した図である。
図６は、８個の仮想パッド８１〜８８が仮想空間上に配置されている様子を示しており、仮想パッド８１〜８８には、第１パッド〜第ｎパッドのうち、パッド有無データが「パッド有」となっているものが対応している。例えば、第２パッド、第３パッド、第５パッド、第６パッド、第８パッド、第９パッド、第１２パッド、第１３パッドの８つが対応している。更に、位置データ、サイズデータ及び角度データに基づいて仮想パッド８１〜８８が配置されている。更にまた、各仮想パッドに音色データが対応付けられている。したがって、ショット検出時におけるマーカー部１５の位置座標が仮想パッド８１〜８８に対応する領域に属し、かつ、スティック部１０によるショットタイミングが検出された場合には仮想パッド８１〜８８に対応する音色が発音される。
また、本実施形態ではカメラユニット２０によってどのパッドを打撃しているのかを検出しているが、カメラユニット２０がなくても、モーションセンサ部１４が現在どこのパッドを打撃しているかを検出することは可能である。例えば、ショット検出時におけるスティック部１０のピッチ角やヨー角が仮想パッド８１〜８８の夫々について定められたピッチ角やヨー角の範囲に属した場合、このパッドを打撃していると判断し、仮想パッド８１〜８８に対応する音色を発音させるようにしてもよい。
また、本実施形態において、この仮想空間での位置座標は、カメラユニット部２０の撮像画像での位置座標と一致するものとする。

【0038】

図４に戻って、ＲＡＭ３３は、スティック部１０から受信したスティック部１０の状態（ショット検出など）、カメラユニット部２０から受信したマーカー部１５の位置座標、及び、ＲＯＭ３２から読み出されたセットレイアウト情報など、処理において取得され又は生成された値を格納する。
ショット検出時（すなわち、ノートオンイベント受信時）にマーカー部１５の位置座標が属する領域の仮想パッド８１に対応する音色データ（波形データ）を、ＲＡＭ３３に格納されたセットレイアウト情報から、ＣＰＵ３１が読み出すことで、演奏者の演奏動作に応じた楽音が発音される。

【0039】

スイッチ操作検出回路３４は、スイッチ３４１と接続され、当該スイッチ３４１を介した入力情報を受け付ける。入力情報としては、例えば、発音する楽音の音量や発音する楽音の音色の変更、セットレイアウト番号の設定及び変更、表示装置３５１の表示の切り替えなどが含まれる。

【0040】

音源装置３６は、ＣＰＵ３１からの指示にしたがって、ＲＯＭ３２から波形データを読み出して、楽音データを生成すると共に、楽音データをアナログ信号に変換し、図示しないスピーカから楽音を発音する。
また、データ通信部３７は、スティック部１０及びカメラユニット部２０との間で所定の無線通信（例えば、赤外線通信）を行う。

【0041】

［演奏装置１の処理］
以上、演奏装置１を構成するスティック部１０、カメラユニット部２０及びセンターユニット部３０の構成について説明した。続いて、図７〜図９を参照して、演奏装置１の処理について説明する。

【0042】

［スティック部１０の処理］
図７は、スティック部１０が実行する処理（以下、「スティック部処理」と呼ぶ）の流れを示すフローチャートである。
図７を参照して、スティック部１０のＣＰＵ１１は、モーションセンサ部１４からモーションセンサ情報、すなわち、各種センサが出力するセンサ値を読み出し、ＲＡＭ１３に格納する（ステップＳ１）。その後、ＣＰＵ１１は、読み出したモーションセンサ情報に基づいて、スティック部１０の姿勢検知処理を実行する（ステップＳ２）。姿勢検知処理では、ＣＰＵ１１は、モーションセンサ情報に基づいて、スティック部１０の姿勢、例えば、スティック部１０のピッチ角、ヨー角及びロール角などを算出する。

【0043】

続いて、ＣＰＵ１１は、モーションセンサ情報に基づいて、ショット検出処理を実行する（ステップＳ３）。ここで、演奏者がスティック部１０を用いて演奏を行う場合、一般には、現実の楽器（例えば、ドラム）を打撃する動作と同様の演奏動作を行う。このような演奏動作では、演奏者は、まずスティック部１０を振り上げ、それから仮想的な楽器に向かって振り下ろす。そしてスティック部１０を仮想的な楽器に打撃する寸前に、スティック部１０の動作を止めようとする力を働かせる。このとき、演奏者は、仮想的な楽器にスティック部１０を打撃した瞬間に楽音が発生することを想定しているため、演奏者が想定するタイミングで楽音を発生できるのが望ましい。そこで、本実施形態では、演奏者が仮想的な楽器の面にスティック部１０を打撃する瞬間又はそのわずかに手前のタイミングで楽音を発音することとしている。

【0044】

本実施形態においては、ショット検出のタイミングは、スティック部１０が振り下ろされてから停止される直前のタイミングであり、スティック部１０にかかる振り下ろし方向とは逆向きの加速度の大きさがある閾値を超えたタイミングである。
このショット検出のタイミングを発音タイミングとし、発音タイミングが到来したと判断されると、スティック部１０のＣＰＵ１１は、ノートオンイベントを生成し、センターユニット部３０に送信する。これにより、センターユニット部３０において、発音処理が実行されて、楽音が発音される。
ステップＳ３に示すショット検出処理では、モーションセンサ情報（例えば、加速度センサのセンサ合成値）に基づいて、ノートオンイベントを生成する。このとき、生成するノートオンイベントには、発音する楽音の音量を含めることとしてもよい。なお、楽音の音量は、例えば、センサ合成値の最大値から求めることができる。

【0045】

続いて、ＣＰＵ１１は、ステップＳ１からステップＳ３の処理で検出した情報、すなわち、モーションセンサ情報、姿勢情報及びショット情報を、データ通信部１６を介してセンターユニット部３０に送信する（ステップＳ４）。このとき、ＣＰＵ１１は、スティック識別情報と対応付けて、モーションセンサ情報、姿勢情報及びショット情報をセンターユニット部３０に送信する。
これにより、処理はステップＳ１に戻され、それ以降の処理が繰り返される。

【0046】

［カメラユニット部２０の処理］
図８は、カメラユニット部２０が実行する処理（以下、「カメラユニット部処理」と呼ぶ）の流れを示すフローチャートである。
図８を参照して、カメラユニット部２０のＣＰＵ２１は、イメージデータ取得処理を実行する（ステップＳ１１）。この処理では、ＣＰＵ２１は、イメージセンサ部２４からイメージデータを取得する。

【0047】

続いて、ＣＰＵ２１は、第１マーカー検出処理（ステップＳ１２）及び第２マーカー検出処理（ステップＳ１３）を実行する。これらの処理では、ＣＰＵ２１は、イメージセンサ部２４が検出した、スティック部１０Ｒのマーカー部１５（第１マーカー）及びスティック部１０Ｌのマーカー部１５（第２マーカー）の位置座標、サイズ、角度などのマーカー検出情報を、取得しＲＡＭ２３に格納する。このとき、イメージセンサ部２４は、発光中のマーカー部１５について、マーカー検出情報を検出する。

【0048】

続いて、ＣＰＵ２１は、ステップＳ１２及びステップＳ１３で取得したマーカー検出情報を、データ通信部２５を介してセンターユニット部３０に送信し（ステップＳ１４）、ステップＳ１１に処理を移行させる。

【0049】

［センターユニット部３０の処理］
図９は、センターユニット部３０が実行する処理（以下、「センターユニット部処理」と呼ぶ）の流れを示すフローチャートである。

【0050】

図９を参照して、センターユニット部３０のＣＰＵ３１は、カメラユニット部２０から、第１マーカー及び第２マーカー夫々のマーカー検出情報を受信し、ＲＡＭ３３に格納する（ステップＳ２１）。また、ＣＰＵ３１は、スティック部１０Ｒ、１０Ｌの夫々から、スティック識別情報と対応付けられたモーションセンサ情報、姿勢情報及びショット情報を受信し、ＲＡＭ３３に格納する（ステップＳ２２）。更に、ＣＰＵ３１は、スイッチ３４１の操作により入力された情報を取得する（ステップＳ２３）。

【0051】

続いて、ＣＰＵ３１は、ショットありか否かを判断する（ステップＳ２４）。この処理では、ＣＰＵ３１は、スティック部１０からノートオンイベントを受信したか否かにより、ショットの有無を判断する。このとき、ショットありと判断した場合には、ＣＰＵ３１は、発音処理を実行する（ステップＳ２５）。ショットなしと判断した場合には、ＣＰＵ３１は、処理をステップＳ２１に移行させる。
発音処理では、ＣＰＵ３１は、ＲＡＭ３３に読み出されたセットレイアウト情報に基づいて、マーカー検出情報に含まれる位置座標が仮想パッド８１〜８８のいずれかに属するか否かを判断する。属すると判断された場合には、ＲＡＭ３３に格納された姿勢情報に含まれるピッチ角が、属すると判断された仮想パッドに対応するピッチ角の範囲に属するか否かを、ＲＡＭ３３に読み出されたセットレイアウト情報に基づいて判断する。この判断でも属すると判断された場合には、先の判断で属すると判断された仮想パッドに対応する音色データ（波形データ）を読み出し、ノートオンイベントに含まれる音量データと共に音源装置３６に出力する。すると、音源装置３６は、受け取った波形データに基づいて該当する楽音を発音する。

【0052】

続いて、ＣＰＵ３１は、発音された楽音がシンバルであるか否か判断する（ステップＳ２６）。発音された楽音がシンバルでない場合には、処理をステップＳ２１に移行させる。発音された楽音がシンバルの場合には、ＣＰＵ３１は、図１２〜図１４を参照して後述する平面αとスティック部１０とのなす角Δθ、及びショットタイミングでのスティック部１０のヨー角を起点とし、その後ミュート操作時に演奏者がＺ軸周りにスティック１０を回転させたときのヨー角の回転角φ１又はφ２の算出を行う（ステップＳ２７）。具体的には、ＣＰＵ３１は、ＲＡＭ３３に格納されたモーションセンサ情報及び姿勢情報等からΔθ及び回転角φ１又はφ２を算出する。

【0053】

ここで、図１０及び図１１を参照して、シンバルのチョーク奏法について説明する。図１０及び図１１では、生のシンバル又は電子ドラムのシンバルを例として説明する。チョーク奏法とは、演奏者が、スティック部１０でシンバル４０をショットした後、手でシンバル４０を押さえてシンバルのショット音を消音する奏法である。ショット音を消音することを以下、「ミュート」という。より詳細に説明すると、演奏者が、スティック部１０でシンバル４０をショットした後、スティック部１０を保持しつつ手でシンバル４０を押さえる。このとき、スティック部１０は、手の動きに合わせて時計回り（図１０参照）又は反時計回りに回転する（図１１参照）。

【0054】

図１２〜図１４は、シンバルのチョーク奏法におけるスティック部１０の回転運動を定量的に表した図である。
ショットタイミングにおけるスティック部１０のピッチ角をθとしている（図１２及び図１３に示すように、平面αは、スティック部１０により打撃される打面、即ち、仮想空間上に配置される仮想パッド面であり、この仮想パッド面とスティック部１０とのなす角をΔθとする。更に、図１４に示すように、ショットタイミングでのスティック部１０のヨー角を起点とし、その後ミュート操作時に演奏者がＺ軸周りにスティック部１０を回転させたときのヨー角の回転角をφ１又はφ２とする。φ１は、スティック部１０が時計回り方向に回転した場合のヨー角の回転角であり、φ２は、スティック部１０が反時計回り方向に回転した場合のヨー角の回転角である。

【0055】

ここで、図１３におけるΔθが、図９のステップＳ２７で検出する仮想パッド面とスティック部１０とのなす角Δθであり、図１４におけるφ１又はφ２が、図９のステップＳ２７で検出する回転角φ１又はφ２である。

【0056】

生のシンバル又は電子ドラムのシンバルでのチョーク奏法では、シンバルがショットされた後、スティック部１０は仮想パッド面に沿って回転するため、この仮想パッド面とスティック部１０とのなす角であるΔθは、ほとんど変化しない。したがって、チョーク奏法が行われる場合、Δθは所定の閾値を超えない。本実施形態では、この所定の閾値を「θｔｈ」とする。
また、チョーク奏法において、シンバル音のミュートが行われるのは、演奏者の手の回転の結果、スティック部１０のショットタイミングでのスティック部１０のヨー角を起点とし、その後ミュート操作時に演奏者がＺ軸周りにスティック部１０を回転させたときのヨー角の回転角φ１又はφ２が９０度に近づいた場合である。すなわち、φ１又はφ２が所定の閾値を超えた場合である。本実施形態では、この所定の閾値を「φ１ｔｈ」又は「φ２ｔｈ」とする。

【0057】

図９に戻って、ＣＰＵ３１は、所定時間経過したか否かを判断する（ステップＳ２８）。この所定時間とは、ショットタイミングからミュートまでに許容される時間の最長時間であり、予め定められているか、又は、演奏者により設定される。所定時間経過した場合には、ＣＰＵ３１は、処理をステップＳ２１に移行させ、所定時間経過していない場合には、ＣＰＵ３１は、処理をステップＳ２９に移行させる。

【0058】

ステップＳ２９では、ＣＰＵ３１は、Δθの絶対値がθｔｈ以下であるか否かを判断する。Δθの絶対値がθｔｈより大きい場合には、ＣＰＵ３１は、チョーク奏法ではないと判断し、処理をステップＳ２１に移行させる。Δθの絶対値がθｔｈ以下である場合には、ＣＰＵ３１は、チョーク奏法の可能性があると判断し、処理をステップＳ３０に移行させる。したがって、一旦Δθの絶対値がθｔｈより大きくなった時点で、チョーク奏法の可能性はなくなり、ステップＳ２１の処理が実行される。

【0059】

ステップＳ３０では、ＣＰＵ３１は、φ１がφ１ｔｈより大きいかの判断、又は、φ２がφ２ｔｈより大きいかの判断のいずれか一方が成立しているか否かを判断する。φ１がφ１ｔｈより大きい場合、又は、φ２がφ２ｔｈより大きい場合には、ＣＰＵ３１は、処理をステップＳ３１に移行させる。φ１がφ１ｔｈより大きくなく、かつ、φ２がφ２ｔｈより大きくない場合には、ＣＰＵ３１は、処理をステップＳ２７に移行させる。

【0060】

ステップＳ３１では、ＣＰＵ３１は、ミュート処理を行う。具体的には、ＣＰＵ３１は、シンバル音を消音するために、ノートオフイベントを音源装置３６に出力する。すると、音源装置３６は、シンバル音をミュートする。ステップＳ３１の処理が終了すると、ＣＰＵ３１は、処理をステップＳ２１に移す。

【0061】

以上、センターユニット部処理によれば、所定時間が経過するまでの間に、Δθの絶対値がθｔｈ以下である状態を保っている条件の下、φ１がφ１ｔｈより大きくなる場合、又は、φ２がφ２ｔｈより大きくなる場合に、チョーク奏法が行われたと判断され、ミュート処理が実行される。

【0062】

尚、上記シンバル音をミュートする方法は、ノートオフを出して音を消音するという方法の他にも、発音中の音のエンベロープをハイリリースさせるよう音源へ指示するといった方法も考えられ、どちらの方法を用いても構わない。

【0063】

以上、本実施形態の演奏装置１の構成及び処理について説明した。
本実施形態においては、ＣＰＵ３１は、スティック部１０により打面である平面αに対して演奏操作がなされた時に、所定の楽音の発音を指示し、演奏操作がなされた時から、平面αとスティック部１０とで形成されるピッチ角Δθの取得を開始するとともに、演奏操作がなされた時点におけるスティック部１０を起点とし、当該起点におけるスティック部１０とその後のスティック部１０とで形成されるヨー角φ１又はφ２の取得を開始し、演奏操作がなされた時点から所定時間内に、当該取得されたピッチ角及びヨー角が所定の条件を満たした場合に、発音を指示された楽音の消音を指示する。
よって、スティック部１０のピッチ角及びヨー角に基づいて消音できるので、演奏者は、あたかも実際のドラムセットにおけるチョーク奏法を行っているかのような感覚を得られる。

【0064】

また、本実施形態においては、ＣＰＵ３１は、演奏操作がなされた後において取得されたピッチ角Δθの絶対値が第１の閾値（θｔｈ）を超えず、かつ、演奏操作がなされた後において取得されたヨー角φ１又はφ２が第２の閾値（φ１ｔｈ又はφ２ｔｈ）を超えた場合に、消音する指示をする。
よって、演奏者は、あたかも実際のドラムセットにおけるチョーク奏法を行っているかのような感覚を得られる。

【0065】

以上、本発明の実施形態について説明したが、実施形態は例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、更に、本発明の要旨を逸脱しない範囲で、省略や置換など種々の変更を行うことができる。これら実施形態やその変形は、本明細書などに記載された発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【0066】

上記実施形態では、チョーク奏法の例としてシンバルを例にとって説明したが、これに限られるものではなく、発音してから消音するまでの時間が長い楽器、例えば、スネア、フロアタム、タムタム等であってもよい。

【0067】

また、上記実施形態では、カメラユニット部２０を用いて、スティック部１０のショットの位置座標を検出しているが、これに限られるものではなく、カメラユニット部２０を用いずに、スティック部１０自体にショットの位置座標を検出させるようにしてもよい。
またスティック部１０の他端に設けたセンサ類は必ずしも先端側である必要はなく中間部などに設けても構わない。
さらに上記実施形態データ通信部１６は赤外線通信により通信を行っているが、演奏を妨げなければどのようなデータ通信方法を用いても構わない。

【0068】

以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
演奏者が保持可能な演奏部材と、
演奏操作によって前記演奏部材が仮想的に打撃する仮想打面を有し、当該仮想打面が仮想空間内の所定の位置および角度に配置される仮想パッドに対して前記演奏操作がなされた時に、所定の楽音の発音を指示する発音指示手段と、
前記演奏操作がなされた時から、前記仮想打面と前記演奏部材とで形成されるピッチ角の取得を開始するとともに、前記演奏操作がなされた時点における前記演奏部材を起点とし、当該起点における演奏部材とその後の前記演奏部材とで形成されるヨー角の取得を開始するピッチ角・ヨー角取得出手段と、
前記演奏操作がなされた時点から所定時間内に、前記取得されたピッチ角及びヨー角が所定の条件を満たした場合に、前記発音を指示された楽音の消音を指示する消音指示手段と、
を備えることを特徴とする演奏装置。
［付記２］
前記消音指示手段は、前記演奏操作がなされた後における前記ピッチ角・ヨー角取得出手段により取得された前記ピッチ角が第１の閾値を超えず、かつ、前記演奏操作がなされた後におけるピッチ角・ヨー角取得出手段により取得された前記ヨー角が第２の閾値を超えた場合に、前記消音する指示をすることを特徴とする付記１に記載の演奏装置。
［付記３］
演奏者が保持可能な演奏部材と、演奏操作によって前記演奏部材が仮想的に打撃する仮想打面を有し、当該仮想打面が仮想空間内の所定の位置および角度に配置され、前記演奏部材のピッチ角を検出するピッチ角検出手段と、前記演奏部材のヨー角を検出するヨー角検出手段と、を備える演奏装置が実行する方法であって、
前記演奏部材により前記打面に対して前記演奏操作がなされた時に、所定の楽音の発音を指示する発音指示ステップと、
前記演奏操作がなされた時から、前記打面と前記演奏部材とで形成されるピッチ角の取得を開始するとともに、前記演奏操作がなされた時点における前記演奏部材を起点とし、当該起点における演奏部材とその後の前記演奏部材とで形成されるヨー角の取得を開始するピッチ角・ヨー角取得出ステップと、
前記演奏操作がなされた時点から所定時間内に、前記取得されたピッチ角及びヨー角が所定の条件を満たした場合に、前記発音を指示された楽音の消音を指示する消音指示ステップと、
を含む方法。
［付記４］
演奏者が保持可能な演奏部材と、演奏操作によって前記演奏部材が仮想的に打撃する仮想打面を有し、当該仮想打面が仮想空間内の所定の位置および角度に配置され、前記演奏部材のピッチ角を検出するピッチ角検出手段と、前記演奏部材のヨー角を検出するヨー角検出手段と、を備える演奏装置として用いられるコンピュータに、
前記演奏部材により前記打面に対して前記演奏操作がなされた時に、所定の楽音の発音を指示する発音指示ステップと、
前記演奏操作がなされた時から、前記打面と前記演奏部材とで形成されるピッチ角の取得を開始するとともに、前記演奏操作がなされた時点における前記演奏部材を起点とし、当該起点における演奏部材とその後の前記演奏部材とで形成されるヨー角の取得を開始するピッチ角・ヨー角取得出ステップと、
前記演奏操作がなされた時点から所定時間内に、前記取得されたピッチ角及びヨー角が所定の条件を満たした場合に、前記発音を指示された楽音の消音を指示する消音指示ステップと、
を実行させるプログラム。

【符号の説明】

【0069】

１・・・演奏装置、１０・・・スティック部、１１・・・ＣＰＵ、１２・・・ＲＯＭ、１３・・・ＲＡＭ、１４・・・モーションセンサ部、１５・・・マーカー部、１６・・・データ通信部、１７・・・スイッチ操作検出回路、１７１・・・スイッチ、２０・・・カメラユニット部、２１・・・ＣＰＵ、２２・・・ＲＯＭ、２３・・・ＲＡＭ、２４・・・イメージセンサ部、２５・・・データ通信部、３０・・・センターユニット、３１・・・ＣＰＵ、３２・・ＲＯＭ、３３・・・ＲＡＭ、３４・・・スイッチ操作検出回路、３４１・・・スイッチ、３５・・・表示回路、４０・・・シンバル、３５１・・・表示装置、３６・・・音源装置、３７・・・データ通信部、８１〜８８・・・仮想パッド

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】