特許 5945815 再生対象信号のファイルの再生を制御するための装置と方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5945815

(24)【登録日】2016年6月10日

(45)【発行日】2016年7月5日

(54)【発明の名称】再生対象信号のファイルの再生を制御するための装置と方法

(51)【国際特許分類】

   G10H 1/00 20060101AFI20160621BHJP

   G10G 1/00 20060101ALI20160621BHJP

【ＦＩ】

   G10H1/00 102Z

   G10G1/00

【請求項の数】13

【全頁数】15

(21)【出願番号】特願2011-549574(P2011-549574)

(86)(22)【出願日】2010年2月12日

(65)【公表番号】特表2012-518192(P2012-518192A)

(43)【公表日】2012年8月9日

(86)【国際出願番号】EP2010051763

(87)【国際公開番号】WO2010092140

(87)【国際公開日】20100819

【審査請求日】2013年1月30日

(31)【優先権主張番号】0950919

(32)【優先日】2009年2月13日

(33)【優先権主張国】FR

(73)【特許権者】

【識別番号】511163126

【氏名又は名称】モベア エス．アー

(74)【代理人】

【識別番号】100071054

【弁理士】

【氏名又は名称】木村 高久

(72)【発明者】

【氏名】ダヴィッド、ドミニク

【審査官】 毛利 太郎

(56)【参考文献】

【文献】 特開平０８−３３９１８１（ＪＰ，Ａ）

【文献】 特開２００１−１９５０６０（ＪＰ，Ａ）

【文献】 特開２００１−３３３１５６（ＪＰ，Ａ）

【文献】 特開平１０−０５５１７４（ＪＰ，Ａ）

【文献】 特開２００４−３０２０１１（ＪＰ，Ａ）

【文献】 特開２００３−０１５６４８（ＪＰ，Ａ）

【文献】 特開２００５−１５６６４１（ＪＰ，Ａ）

【文献】 米国特許第５５８５５８４（ＵＳ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ１０Ｈ １／００− ７／１２

Ｇ１０Ｇ １／００− ７／０２

(57)【特許請求の範囲】

【請求項1】

連続的なやり方で符号化されてファイルに予め記録された再生対象信号の再生速度と該信号の強度とをユーザが制御できるようにする制御装置であって、
制御ストロークを入力するための第１のインターフェースモジュールと、
前記再生対象信号を入力するための第２のモジュールと、
前記信号のタイミングを制御するための第３のモジュールと、
少なくとも前記第１の３つのモジュールのいくつかの入力を再生するための再生装置と
を含み、
前記第２のモジュールは、前記ファイルの再生速度の制御ストロークが予想される時間を決定することがプログラムされ、
前記第３のモジュールは、一定数の制御ストロークの間、前記第２のモジュールでタグとして予めプログラムされたストロークと前記第１のモジュールに実際に入力されたストロークとに関係する補正速度係数を計算することがプログラムされ、
前記補正速度係数は、次のタグと前のタグ間の時間から現在のストロークと前のストローク間の時間引いた差と現在のストロークと前のストローク間の時間の比に等しい
ことを特徴とする制御装置。

【請求項2】

前記第３のモジュールは、さらに、
前記実際に入力されたストロークの速度と前記タグに基づいて予想されたストロークの速度とに関係する強度係数計算することがプログラムされ、
その後のストロークに関する前記補正速度係数を選択された値に調整するために前記第２のモジュールの再生速度を調整し、前記速度に関係する前記強度係数に従って前記第２のモジュールから出力される信号の前記強度を調整する
請求項１に記載の制御装置。

【請求項3】

前記第１のモジュールはＭＩＤＩインターフェースを含む、請求項１に記載の制御装置。

【請求項4】

前記第１のモジュールは、動作捕獲サブモジュールと、前記動作捕獲サブモジュールからの出力を入力として受信する身振り解析および解釈サブモジュールと、を含む、請求項１に記載の制御装置。

【請求項5】

前記動作捕獲サブモジュールは少なくとも１つの第１と１つの第２の軸上の前記動作捕獲を行い、前記身振り解析および解釈サブモジュールは、
フィルタ機能と、
一組のセンサの少なくとも第１の軸から生じる信号の少なくとも１つのサンプル内の２つの連続的な値間の変化と、少なくとも１つの第１の選択された閾値と、を比較することにより、意味のある身振りを検知する機能と
前記意味のある身振りの検出を確認する機能であって、一組のセンサの少なくとも第２の軸から生じる信号の少なくとも１つと、少なくとも１つの第２の選択された閾値とを比較することができる、機能と、を含む、請求項４に記載の制御装置。

【請求項6】

前記第１のモジュールは、ユーザの脳からの神経信号を捕獲するためのインターフェースと前記神経信号を解釈するためのサブモジュールとを含む、請求項１に記載の制御装置。

【請求項7】

前記入力されるストロークの速度は、前記第２のセンサから出力される前記信号の偏差に基づいて計算される、請求項５に記載の制御装置。

【請求項8】

前記第１のモジュールはまたユーザの一部に関する身振りを解釈することができるサブモジュールを含み、
前記サブモジュールの出力は、ビブラートとトレモロからなる群から選択される音声出力の特徴を制御するために前記第３のモジュールにより使用される、請求項１に記載の制御装置。

【請求項9】

前記第２のモジュールは、前記ファイルの再生速度の制御ストロークが予想される時間に前記再生対象信号が予め記録されたファイル内にタグを置くサブモジュールを含み、
前記タグは、前記予め記録された信号の速度に従って自動生成され、ＭＩＤＩインターフェースにより移動させることができる、請求項１に記載の制御装置。

【請求項10】

前記第２のモジュールの前記再生速度を調整するために前記第３のモジュールにおいて選択される前記値は、一組の計算値から選択される値に等しく、
その値の限度の１つは、前記補正速度係数を適用することにより計算され、
他の値は、現在の値と補正速度係数の適用に使用される限度のものに対応する値との間の線形補間により計算される、請求項２に記載の制御装置。

【請求項11】

前記第２のモジュールの前記再生速度を調整するために前記第３のモジュールにおいて選択される前記値は、前記補正速度係数の適用に使用される限度のものに対応する値に等しい、請求項１０に記載の制御装置。

【請求項12】

連続的なやり方で符号化されてファイルに予め記録された再生対象信号の再生速度と該信号の強度とをユーザが制御できるようにする方法であって、
制御ストロークを入力する第１のインターフェース工程と、
前記再生対象信号を入力する第２の工程と、
前記信号のタイミングを制御する第３の工程と、
少なくとも前記第１の３つの工程のいくつかの入力を再生する工程と
を含み、
前記第２の工程は、前記ファイルの再生速度の制御ストロークが予想される時間を決定するようにプログラムされ、
前記第３の工程は、一定数の制御ストロークの間、前記第２の工程においてタグとして予めプログラムされたストロークと前記第１の工程において実際に入力されたストロークとに関係する補正速度係数を計算するようにプログラムされ、
前記補正速度係数は、次のタグと前のタグ間の時間から現在のストロークと前のストローク間の時間引いた差と現在のストロークと前のストローク間の時間の比に等しい
ことを特徴とする方法。

【請求項13】

前記第３の工程は、さらに、前記実際に入力されたストロークの速度と前記タグに基づいて予想されたストロークの速度とに関係する強度係数計算することがプログラムされ、その後のストロークに関する前記補正速度係数を選択された値に調整するために前記第２の工程において再生速度を調整し、前記速度に関係する前記強度係数に従って前記第２のモジュールから出力される信号の強度を調整する、請求項１２に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、音声ファイルのリアルタイム再生制御に関する。

【背景技術】

【0002】

電子的音楽合成装置は、音符入力用インターフェースを使用することにより１つまたは複数の合成楽器（音響モデルから、あるいはピアノ、ギター、他の弦楽器、サクソフォンまたは他の管楽器等からのサンプルまたは音から、生成される合成楽器）を再生できるようにする。入力された音符は、ＭＩＤＩ（楽器デジタルインターフェース：Ｍｕｓｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）規格を採用したコネクタとソフトウェアインターフェースによりインターフェースに接続された合成装置により信号に変換される。楽譜に対応する一連の音符を生成できるようにする楽器（楽器群）の自動プログラミングは、その目的のために設けられたソフトウェアを使用することにより実行可能である。このようなソフトウェアのうちＭＡＸ／ＭＳＰプログラミングソフトウェアは最も広く利用されるものの１つであり、このような楽譜解釈アプリケーションを作成できるようにする。このようなアプリケーションは、一連の音符を選択制御できるようにし、かつ音楽合成ＤＳＰ（デジタル信号プロセッサ）を駆動できるようにするグラフィックプログラミングインターフェースを含む。これらの装置では、楽器の１つを制御するインターフェースにより駆動された楽譜と自動演奏される他の楽器の楽譜とを組み合わせることが可能である。ＭＩＤＩ型インターフェースにより合成楽器を制御するよりもむしろ、音声記録を直接制御すること（例えば、ファイルの演奏速度および／または音量に作用できるようにする制御）が望ましいかもしれない。ＭＩＤＩインターフェースにより提供されるインタープリタの演奏データと共に演奏されるファイルの音楽的同期を保証するためには、自動演奏される楽譜の実行速度を制御できることが特に有用であろう。既存装置は、予め記録された音楽を電子機器上に再生するために使用される異なるタイプの音声ファイル（ＭＰ３−ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）１／２Ｌａｙｅｒ３、ＷＡＶ−ＷＡＶｅｆｏｒｍ音声形式、ＷＭＡ−Ｗｉｎｄｏｗｓ Ｍｅｄｉａ Ａｕｄｉｏ等）の再生速度を越えるこの制御を提供できるようにしていない。許容可能な音楽性という条件でこのようなリアルタイム制御を可能にする従来技術の装置は存在しない。

【0003】

具体的には、国際公開第９８／１９２９４号パンフレットは、ＭＩＤＩファイルの再生速度の制御だけを扱い、ＭＰ３またはＷＡＶファイル等のほぼ連続的なやり方で符号化された信号のファイルの制御を扱わない。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本出願は、満足できる音楽演奏を提供できるようにする自動楽譜再生制御アルゴリズムを使用することにより従来技術のこれらの制限に対処する。

【課題を解決するための手段】

【0005】

この目的を達成するために、本発明は、再生対象信号が予め記録されたファイルの再生速度と、予め記録されたファイルにほぼ連続的なやり方で符号化された前記信号の強度と、をユーザが制御できるようにする制御装置を開示する。本装置は、制御ストロークを入力するための第１のインターフェースモジュールと、再生対象信号を入力するための第２のモジュールと、予め記録された信号のタイミングを制御するための第３のモジュールと、第１の３つのモジュールの入力を再生するための装置と、を含む。第２のモジュールは、ファイルの再生速度の制御ストロークが予想される時間を決定するようにプログラム可能である。第３のモジュールは、一定数の制御ストロークの間、第２のモジュールに予めプログラムされたストロークと第１のモジュールに実際に入力されたストロークとに関係する補正速度係数と、実際に入力されたストロークの速度と予想されたストロークの速度とに関係する強度係数と、を計算することができ、次に、その後のストロークに関する補正速度係数を選択された値に調整するために第２のモジュールの再生速度を調整し、速度に関係する強度係数に従って第２のモジュールから出力される信号の強度を調整することができる。

【0006】

有利には、第１のモジュールはＭＩＤＩインターフェースを含む。

【0007】

有利には、第１のモジュールは、動作捕獲（ｍｏｔｉｏｎ ｃａｐｔｕｒｅ）サブモジュールと、動作捕獲サブモジュールからの出力を入力として受信する身振り解析および解釈サブモジュールと、を含む。

【0008】

有利には、動作捕獲サブモジュールは少なくとも１つの第１と１つの第２の軸上で動作捕獲を行い、身振り解析および解釈サブモジュールは、フィルタ機能と、一組のセンサの少なくとも第１の軸から生じる信号の少なくとも１つのサンプル内の２つの連続的な値間の変化と、少なくとも１つの第１の選択された閾値と、を比較することにより、意味のある身振りを検知する機能と、意味のある身振りの検出を確認する機能であって一組のセンサの少なくとも第２の軸から生じる信号の少なくとも１つと少なくとも１つの第２の選択された閾値とを比較することができる、機能と、を含む。

【0009】

有利には、第１のモジュールは、ユーザの脳からの神経信号を捕獲するためのインターフェースと神経信号を解釈するためのサブモジュールとを含む。

【0010】

有利には、入力されたストロークの速度は第２のセンサから出力される信号の偏差に基づいて計算される。

【0011】

有利には、第１のモジュールはまた、ユーザの一部に関する身振りを解釈することができるサブモジュールを含み、サブモジュールの出力は、ビブラートとトレモロからなる群から選択される音声出力の特徴を制御するために第３のモジュールにより使用される。

【0012】

有利には、第２のモジュールは、ファイルの再生速度の制御ストロークが予想される時間に再生対象信号が予め記録されたファイル内にタグを置くサブモジュールを含み、タグは、予め記録された信号の速度に従って自動生成され、ＭＩＤＩインターフェースにより移動させることができる。

【0013】

有利には、第２のモジュールの再生速度を調整するために第３のモジュールにおいて選択される値は、一組の計算値から選択される値に等しく、その値の限度の１つは、次のタグと前のタグ間の時間間隔マイナス現在のストロークと前のストローク間の時間間隔の、現在のストロークと前のストローク間の時間間隔に対する比に等しい補正速度係数を適用することにより計算され、他の値は、現在の値と補正速度係数の適用に使用された限度のものに対応する値との間の線形補間により計算される。

【0014】

有利には、第２のモジュールの再生速度を調整するために第３のモジュールにおいて選択される値は、補正速度係数の適用に使用された限度のものに対応する値に等しい。

【0015】

本発明はまた、再生対象信号が予め記録されたファイルの再生速度と、予め記録されたファイルにほぼ連続的なやり方で符号化された前記信号の強度と、をユーザが制御できるようにする方法を開示する。本方法は、制御ストロークを入力する第１のインターフェース工程と、再生対象信号を入力する第２の工程と、予め記録された信号のタイミングを制御する第３の工程と、第１の３つの工程の入力を再生する工程と、を含む。第２の工程は、ファイルの再生速度の制御ストロークが予想される時間を決定するようにプログラム可能である。第３の工程は、一定数の制御ストロークの間、第２の工程において予めプログラムされたストロークと第１の工程において実際に入力されたストロークとに関係する補正速度係数と、実際に入力されたストロークの速度と予想されたストロークの速度とに関係する強度係数と、を計算することができ、次に、その後のストロークに関する補正速度係数を選択された値に調整するために第２の工程において再生速度を調整し、速度に関係する強度係数に従って第２のモジュールから出力される信号の強度を調整することができる。

【0016】

本発明の別の利点は予め記録された音声ファイルの再生を直観的に制御できるようにすることである。新しい再生制御アルゴリズムもまた本発明の装置に容易に取り込むことができる。予め記録された音声ファイルの音響パワーもまた本発明の装置により簡単に制御することができる。

【0017】

本発明は多くの例示的実施形態の以下の説明と添付図面からさらに良く理解され、その様々な特徴と利点が明らかになる。

【図面の簡単な説明】

【0018】

【図1A-1C】本発明の３つの実施形態による、予め記録された音声ファイルの再生速度を制御する装置の機能アーキテクチャの概念図である。

【図2】図１Ｂに示す本発明の実施形態の１つにおける運動センサからの信号の低域通過フィルタリングのフロー図である。

【図3A-3B】本発明のアプリケーションの、ストローク速度が音声トラックの再生速度より速い／遅い２つの場合をそれぞれ表す。

【図4】本発明の一実施形態におけるストローク速度を測定する機能の処理演算のフロー図である。

【図5】本発明の一実施形態における処理演算の概略フロー図である。

【図6】本発明の一実施形態による装置のユーザが望む速度制御点を示す図５の詳細を示す。

【図7】本発明の一実施形態における、開発されたタイミング制御方法のフロー図である。

【発明を実施するための形態】

【0019】

図１Ａ、１Ｂ、１Ｃは、制御ストローク入力インターフェースモジュール１０だけが異なる本発明の３つの実施形態を表す。再生対象信号を入力するためのモジュール２０、タイミング速度制御モジュール３０、および音声出力モジュール４０の特徴については後で説明する。制御ストローク入力インターフェースモジュール１０の様々な実施形態について最初に説明する。

【0020】

少なくとも３つの入力インターフェースモジュールが可能である。これらを図１Ａ、１Ｂ、１Ｃにそれぞれ示す。各入力モジュールは、装置との相互作用命令を捕獲するサブモジュール１１０と、装置内のこれら命令の入力と翻訳を扱う部分と、を含む。

【0021】

図１ＡはＭＩＤＩ型入力モジュール１０Ａを示す。ＭＩＤＩコントローラ１１０Ａは、ボタン、フェーダ（音源のレベルを調整する線形ポテンショメータ）、パッド（触覚面）、または回転つまみを有することができる制御面である。これらの制御装置は音または再生管理周辺装置ではない。これらはＭＩＤＩデータだけを生成する。他のタイプの制御面（例えば、バーチャルハープ、ギターまたはサクソフォン）も使用することができる。これらの制御装置は可視化画面を有してもよい。制御面を構成する要素にかかわらず、すべての取っ手、カーソル、フェーダ、ボタン、パッドは、設定（構成ファイル）のおかげでソフトウェアの視覚インターフェースの各要素に割り当てられる。音響制御はまた調光制御と接続することができる。

【0022】

ＭＩＤＩコントローラ１１０Ａは、そのハードウェア部が５ピンＤＩＮコネクタであるインターフェースを介し時間制御プロセッサ３０に結合される。多くのＭＩＤＩコントローラは、互に連鎖されることにより同じコンピュータに結合することができる。通信リンクは３１２５０ボーで設定される。符号化方式は１２８の音色値（０〜１２７）を使用し、音符メッセージは半音解像度を有する８．１７５Ｈｚ〜１２５４４Ｈｚの周波数に分散される。

【0023】

図１Ｂは、Ｍｏｖｅａ（商標）のＭｏｔｉｏｎＰｏｄ（商標）型の運動センサ１１０Ｂと動作分析インターフェース１２０Ｂとを含む動作捕獲アセンブリ１０Ｂを示す。ＡｉｒＭｏｕｓｅ（商標）またはＧｙｒｏＭｏｕｓｅ（商標）も他の運動センサと同様にＭｏｔｉｏｎＰｏｄの代わりに使用することができる。

【0024】

ＭｏｔｉｏｎＰｏｄは、三軸加速度計、三軸磁力計、センサからの信号を事前形成するために使用することができる前処理能力、信号を処理モジュール自体に送信する高周波送信モジュール、およびバッテリーを含む。この運動センサは「３Ａ３Ｍ」（３つの加速度計軸と３つの磁力計軸：ｔｈｒｅｅ ａｃｃｅｌｅｒｏｍｅｔｅｒ ａｘｅｓ ａｎｄ ｔｈｒｅｅ ｍａｇｎｅｔｏｍｅｔｅｒ ａｘｅｓ）であると言われる。加速度計と磁力計は小容積・低消費電力を有する低コストの市場標準マイクロセンサである（例えば、Ｋｉｏｎｉｘ（商標）の３チャネル加速度計（ＫＸＰＡ４ ３６２８）と、ＨｏｎｅｙＷｅｌｌ（商標）磁力計のＨＭＣ１０４１Ｚタイプ（１垂直チャネル）と２水平チャネル用ＨＭＣ１０４２Ｌタイプ）。他の供給業者があり、２〜３の例を挙げると、磁力計についてはＭｅｍｓｉｃ（商標）またはＡｓａｈｉ Ｋａｓｅｉ（商標）、加速度計についてはＳＴＭ（商標）、Ｆｒｅｅｓｃａｌｅ（商標）、Ａｎａｌｏｇ Ｄｅｖｉｃｅ（商標）が挙げられる。ＭｏｔｉｏｎＰｏｄでは、６つの信号チャネルに対し、アナログフィルタリングだけがあり、アナログフィルタリング後のアナログデジタル変換（１２ビット）後、未加工信号は、この種のアプリケーションにおける消費電力に最適化されたＢｌｕｅｔｏｏｔｈ（商標）帯（２．４ＧＨｚ）の高周波プロトコルにより送信される。そのためデータは一組のセンサからデータを受信することができる制御装置に未加工で到達する。データは制御装置により読み取られ、ソフトウェアが利用できるようにされる。サンプリングレートは調整可能であり、初期設定では２００Ｈｚに設定される。それにもかかわらず、例えば衝撃の検出時の高精度化を可能にする高い値（最大３０００Ｈｚ、あるいはそれ以上）を想定してもよい。ＭｏｔｉｏｎＰｏｄの高周波プロトコルは、この場合１０ｍｓ（２００Ｈｚで）を越えてはならない制御遅延（これは音楽にとって重要である）を有する制御装置にデータムを利用可能にすることを保証できるようにする。

【0025】

上記タイプの加速度計は、その３軸上の縦方向変位と、変換による角変位（地球の重力場の方向のまわりの回転から生じるものを除いて）と、三次元のデカルト座標系に対する配向と、を測定できるようにする。上記タイプの一組の磁力計は、地球の磁場に対してそれが固定されたセンサの配向としたがって座標系（地球の磁場の方向のまわりを除く）の３軸に対する変位と配向とを測定できるようにする。３Ａ３Ｍ組合せは相補的かつ滑らかな運動情報を提供する。

【0026】

ＡｉｒＭｏｕｓｅは、それぞれが１つの回転軸を有する２つのジャイロ型センサを含む。使用されるジャイロメータはＥｐｓｏｎ（商標）のＸＶ３５００である。それらの軸は直交しており、ピッチ角（ＡｉｒＭｏｕｓｅのユーザに対向して置かれた面の水平軸に平行な軸のまわりの回転）とヨー角（ＡｉｒＭｏｕｓｅのユーザに対向して置かれた面の垂直軸に平行な軸のまわりの回転）を提供する。２つのジャイロ軸により測定される瞬間的ピッチ速度とヨー速度は、高周波プロトコルにより、ユーザに対向して置かれた画面上のカーソルの動きの制御装置に送信される。

【0027】

身振り解析および解釈モジュール１２０Ｂは、タイミング制御プロセッサ３０が直接使用することができる信号を供給する。例えば、ＭｏｔｉｏｎＰｏｄの加速度計と磁力計の軸からの信号は、本出願者により申請された特許出願、表題「ＤＥＶＩＣＥ ＡＮＤ ＭＥＴＨＯＤ ＦＯＲ ＩＮＴＥＲＰＲＥＴＩＮＧ ＭＵＳＩＣＡＬ ＧＥＳＴＵＲＥＳ」に記載された方法に従って組み合わせられる。モジュール１２０Ｂ内で実施される処理演算はソフトウェアにより行なわれる。

【0028】

処理演算は、まず第１に、２つの様相（ｍｏｄａｌｉｔｉｅｓ）のセンサ（加速度計と磁力計）からの出力の低域通過フィルタリング（その詳細な動作は図２により説明される）を含む。

【0029】

運動センサの制御装置から出力される信号のこのフィルタリングは一次再帰手法を用いる。フィルタの利得は例えば０．３に設定されてもよい。この場合、フィルタ式は次式により与えられる。
Ｏｕｔｐｕｔ（ｚ（ｎ））＝０．３＊Ｉｎｐｕｔ（ｚ（ｎ−１））＋０．７＊Ｏｕｔｐｕｔ（ｚ（ｎ−１））
ここで、様相毎にｚは使用されるセンサの軸上の様相の読み取り値、ｎは現在サンプルの読み取り値、ｎ−１は前のサンプルの読み取り値である。

【0030】

このとき処理は、第１のフィルタより小さい遮断周波数を有する２つの様相の低域通過フィルタリングを含む。この低い遮断周波数は、第１のフィルタの利得より小さい第２のフィルタの係数の選択をもたらす。第１のフィルタの係数が０．３に選択された上記例の場合、第２のフィルタの係数は０．１に設定されてもよい。このとき第２のフィルタの式は上記と同じ表記法で次のように与えられる。
Ｏｕｔｐｕｔ（ｚ（ｎ））＝０．１＊Ｉｎｐｕｔ（ｚ（ｎ−１））＋０．９＊Ｏｕｔｐｕｔ（ｚ（ｎ−１））

【0031】

このとき処理は、磁力計から出力される信号の測定結果により、加速度計から出力される信号の微分係数内の零を検出することを含む。次の表記が使用される。
−Ａ（ｎ）はサンプルｎにおいて加速度計から出力される信号、
−ＡＦ１（ｎ）はサンプルｎにおいて第１の巡回型フィルタから出力される加速度計からの信号、
−ＡＦ２（ｎ）はサンプルｎにおいて第２の巡回型フィルタにより再びフィルタ処理された信号ＡＦ１、
−Ｂ（ｎ）はサンプルｎにおける磁力計からの信号、
−ＢＦ１（ｎ）はサンプルｎにおける第１の巡回型フィルタから出力される磁力計からの信号、
−ＢＦ２（ｎ）はサンプルｎにおける第２の巡回型フィルタにより再びフィルタ処理された信号ＢＦ１である。

【0032】

次に、サンプルｎにおける加速度計からの信号のフィルタ処理された微分係数を計算するために次式を使用することができる。
ＦＤＡ（ｎ）＝ＡＦ１（ｎ）−ＡＦ２（ｎ−１）
積ＦＤＡ（ｎ）＊ＦＤＡ（ｎ−１）の負符号は、加速度計からのフィルタ処理された信号の微分係数内の零を示し、したがってストロークを検出する。

【0033】

加速度計からのフィルタ処理された信号のこれらの零毎に、処理モジュールは、磁力計のフィルタ処理された出力における他の様相の偏差の強度を検査する。この値が余りに低い場合、ストロークは主要ストロークではなく二次または三次ストロークと考えられ、廃棄される。非主要ストロークを廃棄するための閾値は磁力計の偏差の予想振幅に依存する。通常、この値は想定されたアプリケーションでは５／１０００程度であろう。したがって処理のこの部分は、無意味なストロークを除外できるようにする。

【0034】

図１Ｃは、脳型コンピュータインターフェース１０Ｃ、１１０Ｃ含む。これらのインターフェースは依然として先端研究段階にあるが、特に音楽解釈の領域では有望な可能性を提供する。神経信号は、これらの信号をタイミング制御プロセッサ３０用の命令に変換する解釈インターフェース１２０Ｃに供給される。このような神経装置は例えば次のように動作する。センサのネットワークが、対象者の神経活動から生じる電気的および／または磁気的活動を測定するために人の頭皮上に配置される。現在、これらの信号から対象者の意図を特定できるようにする（例えば、我々の場合、音楽場面において拍子をとれるようにする）利用可能な科学的モデルはまだ存在しない。但し、対象者をセンサシステムと感覚フィードバックとに関連付けるループ内に対象者を置くことにより、「対象者は生成される効果が所望の効果となるように自分の考えを導くことを学習できる」ということを示すことは可能となった。例えば、対象者は画面上のマウスポインタ（電気信号の解析から生じるマウスポインタの動き）を見る（例えば、脳のしかじかの領域内の大きな電気的活動は活動センサのいくつかからの高い電気的出力により反映される）。学習型手順に基づいた一定の訓練により、対象者は、自分の考えを導くことによりカーソルの一定の制御を得る。正確な機構は科学的に知られていないが、処理の一定の再現性は今や認められており、近い将来、対象者のいくつかの意図を捕獲する可能性を想定できるようになる。

【0035】

標準形式（ＭＰ３、ＷＡＶ、ＷＭＡ等）の１つで予め記録された音楽ファイル２０は、再生装置により記憶装置上にサンプリングされる。このファイルは、所定の時点にタイミングマークすなわち「タグ」を含む関連付けられた別のファイルを有する。例えば、次の表は、コンマの後に、タグの指標と共に示されるミリ秒の時点の９つのタグを示す。

【0036】

【表1】

【0037】

演奏中の曲内の同じ指標の拍子にタグを置くことができると有利である。但し、タグの数に制限はない。１つの予め記録された音楽の曲内にタグを置くための以下の多くの可能な技術が存在する。
−タグを置かなければならないリズムに対応する点の音楽波形を手動で検索することによる。これは実現可能であるが面倒な処理である。
−予め記録された音楽の曲を聴くことにより、そしてタグを置かなければならないリズムが聞かれたときにコンピュータキーボードまたはＭＩＤＩキーボードキーを押すことにより半自動的にタグを置く。
−適切な点にタグを置くリズム検出アルゴリズムを使用することにより自動的にタグを置く。今のところ、このアルゴリズムは、最初の２つの処理の１つを使用することにより完成させる必要がない結果に対しては十分には信頼できないが、この自動化は、生成されたタグファイルを完成するための手作業局面により補足することができる。

【0038】

予め記録された再生対象信号を入力するモジュール２０は、異なるタイプの音声ファイルをＭＰ３、ＷＡＶ、ＷＭＡ形式で処理することができる。ファイルはまた、単純録音以外のマルチメディアコンテンツを含んでもよい。マルチメディアコンテンツは例えば、タグによりマーキングされその再生を入力モジュール１０により制御することができるビデオコンテンツ（サウンドトラックを有する有しないにかかわらず）を含んでもよい。

【0039】

タイミング制御プロセッサ３０は、入力モジュール１０から受信された信号と予め記録された音楽２０との同期を、図３Ａと３Ｂの注釈に記載されたやり方で処理する。

【0040】

音声出力４０は、タイミング制御プロセッサ３０により解釈された入力制御モジュール１０により導入されたリズム変動により、モジュール２０から生じる予め記録された音楽を再生する。これは、任意の音響再生装置（特には、ヘッドホン、拡声器）により行うことができる。

【0041】

図３Ａと３Ｂは、本発明のアプリケーションの、ストローク速度が音声トラックの再生速度より速い／遅い２つの場合をそれぞれ示す。

【0042】

ＭＩＤＩキーボード１１０Ａ上に第１のストロークが入力されると（これは運動センサ１１０Ｂにより特定されるあるいは脳１１０Ｃからの考えとして直接解釈される）、モジュール２０の音声再生装置は予め記録された音楽の曲を所与の速度で再生し始める。この速度は、例えば、多くの小さな仮ストロークにより指示されてもよい。タイミング制御プロセッサがストローク信号を受信するたびに、ユーザの現在の演奏速度が計算される。これは例えば、ユーザの側では、予め記録された曲の２つの連続タグＴ、ｎとｎ＋１間の時間間隔と２つの連続ストロークＨ、ｎとｎ＋１間の時間間隔の比として計算される速度係数ＳＦ（ｎ）として表されてもよい。
ＳＦ（ｎ）＝［Ｔ（ｎ＋１）−Ｔ（ｎ）］／［Ｈ（ｎ＋１）−Ｈ（ｎ）］

【0043】

図３Ａの場合、プレーヤは加速し、予め記録された曲より早く進む。新しいストロークは、音声再生装置が音楽のサンプル（このストロークに対応するタグが置かれた）に到着する前に、プロセッサにより受信される。例えば、同図の場合、速度係数ＳＦは４／３である。このＳＦ値を読み取ると、タイミング制御プロセッサは、ファイル２０の演奏を行い、ストロークに対応する指標を有するマークを含むサンプルに飛ぶ。したがって予め記録された音楽の一部は失われるが、音楽のある曲を聴くものの注意は一般的には主要なリズム要素に集中されタグは通常はこれらの主要なリズム要素に置かれるので音楽演奏の質はあまり乱されない。さらに再生装置が、主要なリズムの要素である次のタグに飛ぶと、この要素を期待するリスナーは、飛び越されることになる予め記録された曲の一部の欠如に余り注意を払わなく、したがってこの飛び越しは事実上気付かれることなく過ぎ去る。この遷移に平滑化処理を適用することによりリスニング品質をさらに強化してもよい。この平滑化処理は例えば、プレーヤのストローク速度に追いつくために再生が飛び越されるタグの前後間にいくつかのサンプル（１０程度）を補間することにより適用されてもよい。予め記録された曲の演奏はこの飛び越しから生じた新しい速度で続く。

【0044】

図３Ｂの場合、プレーヤは減速し予め記録された音楽の曲から遅れる。音声再生装置は、前記ストロークがプレーヤにより行なわれる前にストロークが期待される点に到着する。音楽を聴く情況では、ストロークを待つために再生装置を停止することは明らかに不可能である。したがって音声再生は、期待するストロークを受信するまで現在の速度で続く。再生装置の速度が変更されるのはこの時点である。１つの荒削りな方法は、ストロークが受信される瞬間に計算される速度係数ＳＦに従って再生装置の速度を設定することにある。この方法は既に定性的に満足な結果を与えている。より高度な方法は、演奏テンポをプレーヤの速さに再同期できるようにする補正演奏速度を計算することにある。

【0045】

再生装置の速度の変化の前の時点ｎ＋２（音声ファイルの時間スケール上の時点）の３つのタグ位置を図３Ｂに示す。
−左から始まる最初のＴ（ｎ＋２）は、プレーヤが速度を落とす前の再生速度に対応するものである、
−第２番目のＮＴ_１（ｎ＋２）は速度係数ＳＦを使用することにより再生装置の再生速度をプレーヤのストローク速度に調整する計算の結果であり、この場合、タグはストロークに先行したままであるということがわかる。
−第３番目のＮＴ_２（ｎ＋２）は補正速度係数ＣＳＦを使用した計算の結果であり、この補正係数は図３Ｂに見ることができるようにその後のストロークとタグの時間が同一となるように計算される。

【0046】

ＣＳＦは、タグｎ＋２におけるストロークｎ＋１の時間間隔のストロークｎ＋２におけるストロークｎ＋１の時間間隔に対する比である。その計算式は次の通りである。
ＣＳＦ＝｛［Ｔ（ｎ＋２）−Ｔ（ｎ）］−［Ｈ（ｎ＋１）−Ｈ（ｎ）］｝／［Ｈ（ｎ＋１）−Ｈ（ｎ）］
プレーヤのテンポのプロフィールを平滑化することにより音楽演奏を強化することが可能である。このため、再生装置の再生速度を上に示すように調整する代わりに、比較的短期間（例えば、５０ｍｓ）にわたる目標値と開始値間の線形変化を計算し、これらの異なる中間値により再生速度を変更することが可能である。調整時間が長ければ長いほど遷移は滑らかになる。これは、特に多数の音符が２ストローク間再生装置により演奏される場合により良い演奏を提供する。但し、平滑化処理は明らかに、音楽応答の動特性に悪影響を与えるものに対し行われる。

【0047】

１つまたは複数の運動センサを含む実施形態に適用可能な別の拡張は、音声出力の音量を制御するためにプレーヤのストロークエネルギーまたは速度を測定することである。速度が測定されるやり方もまた、本出願者により申請された特許出願、表題「ＤＥＶＩＣＥ ＡＮＤ ＭＥＴＨＯＤ ＦＯＲ ＩＮＴＥＲＰＲＥＴＩＮＧ ＭＵＳＩＣＡＬ ＧＥＳＴＵＲＥＳ」に記載されている。

【0048】

身振り解析および解釈モジュール１２０Ｂにより行なわれる処理のこの部分を図４に示す。

【0049】

検出されるすべての主要ストロークについて、処理モジュールは、磁力計の出力においてフィルタ処理された信号の偏差を使用することにより、ストローク速度（または音量）信号を計算する。

【0050】

図２の注釈における上と同じ表記を使用することにより、値ＤＥＬＴＡＢ（ｎ）は、軸対称磁力計からの事前フィルタ処理信号と考えられるサンプルｎに導入され次のように計算される。
ＤＥＬＴＡＢ（ｎ）＝ＢＦ１（ｎ）−ＢＦ２（ｎ）
ＤＥＬＴＡＢ（ｎ）の最小値と最大値は２つの検出された主要ストローク間に格納される。このとき、サンプルｎにおいて検出された主要ストロークの速度の許容値ＶＥＬ（ｎ）は、次式により与えられる。
ＶＥＬ（ｎ）＝Ｍａｘ｛ＤＥＬＴＡＢ（ｎ），ＤＥＬＴＡＢ（ｐ）｝−Ｍｉｎ｛ＤＥＬＴＡＢ（ｎ），ＤＥＬＴＡ（ｐ）｝
ここで、ｐは前の主要ストロークが検出されたサンプルの指標である。したがって速度は、音楽的に意味のある身振りの特徴を示す２つの検出主要ストローク間の信号の微分係数の移動量（最大値と最小値の差）である。

【0051】

多くの運動センサを含むこの実施形態では、他の身振りにより空間的音源（またはパニング（ｐａｎｎｉｎｇ））、ビブラート、またはトレモロ等の他の音楽パラメータを制御することを想定することも可能である。例えば、手の中のセンサはストロークを検出できるようにし、他方の手の中に保持される別のセンサは空間的音源またはトレモロを検出できるようにする。手の回転を考慮してもよく、手のひらが水平のときは空間的音源またはトレモロの値が得られ、手のひらが垂直のときは同じパラメータの別の値が得られる。どちらの場合も、空間内の手の動きがストロークを検出できるようにする。

【0052】

ＭＩＤＩキーボードが使用される場合、空間的音源、トレモロ、またはビブラートを制御するために本発明のこの実施形態では従来から使用される制御装置を使用してもよい。

【0053】

本発明は、ＭＡＸ／ＭＳＰプログラムを介しストロークを処理することにより有利に実施することができる。

【0054】

図５は、このようなプログラムにおける処理演算の概略フロー図を示す。

【0055】

表示は、システムにロードされた音声曲に関連する波形を示す。原曲を聴くための従来部分がある。

【0056】

左下には、プレーヤが望むリズム制御点のリストを含む表を生成できるようにする部分（図６に示す）が存在する。曲を聴くと、プレーヤは後続演奏の指示を望む時点毎にキーを叩く。あるいはこれらの時点は波形上のマウスにより指示されてもよい。最後に、これらを編集することができる。

【0057】

図７に、適用されるタイミング制御を表す右下に配置された図５の部分を詳述する。

【0058】

右側の列では、加速／減速係数ＳＦは、２つの連続ストローク（一方では原曲におけるもの他方ではユーザの実際の演奏におけるもの）間の期間の比較により計算される。速度係数を計算する式は本明細書で既に示した。

【0059】

中央の列では、ユーザが現在の音楽コンテンツに依存する時間の間それ以上のストロークを作らない場合に音声再生を終了するために、タイムアウトが設定される。

【0060】

左側の列は、制御システムの核心部分を含む。これはタイミング圧縮／拡張アルゴリズムに依存する。困難さは、「離散的」制御したがって連続時点に発生する制御を一様な速度変調に変換することにある。初期設定では、リスニングは、一方では音の全体的妨害に（プレーヤが速度を落とすとき）、他方ではプレーヤが速度を増すときクリックと突然の飛び越しに悩まされる。音楽的に使用不可能な音声出力のためにこのような手法を非現実的にするこれらの欠陥は開発された実施形態により次のように解決される。
−ユーザ側のかなりの減速の場合にすら音の再生を決して停止しない。左側列の「ｉｆ」オブジェクトは現局面が減速局面かあるいは加速局面かを検知する。減速の場合、アルゴリズムの演奏速度は変更されるが音声ファイル内の飛び越しは無い。新しい演奏速度は、右側の列（ＳＦ）では必ずしも精密に計算されたものでないが、「プレーヤの最後の行為に対応するマーカーは既に過ぎ去った」ということを考慮するために補正されてもよい（補正速度係数ＣＳＦにより）。
−加速の場合（「ｉｆ」オブジェクトの第２の分岐）に音声ファイル内で飛び越しを行なう際、この正確な場合、制御マーカーが音響心理学的にかつ音楽的に重要である音楽的時点に対応する場合はリスニングへの主観的影響はほとんどない（ここでは、重要でない周波数を不十分に符号化し、優勢な周波数を十分に符号化するＭＰ３圧縮をベースに類推する）。我々がここで論じているのは巨視的な時間領域である。曲を聴く際のいくつかの時点は他より意味があり、実行したいと望むのはこれらの時点においてである。

【0061】

上述の例は本発明の実施形態の例示として挙げられた。これらは以下の特許請求範囲により定義される本発明の範囲を決して制限しない。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】