特許 7140447 感知ユニットの動きからの少なくとも１つの検出される力を聴覚信号に変換するための装置及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-09-12

(45)【発行日】2022-09-21

(54)【発明の名称】感知ユニットの動きからの少なくとも１つの検出される力を聴覚信号に変換するための装置及び方法

(51)【国際特許分類】

   G10H 1/00 20060101AFI20220913BHJP

   G10H 1/32 20060101ALI20220913BHJP

【ＦＩ】

G10H1/00 Z

G10H1/00 102Z

G10H1/32 Z

【請求項の数】 18

(21)【出願番号】P 2019530193

(86)(22)【出願日】2017-12-22

(65)【公表番号】

(43)【公表日】2020-01-30

(86)【国際出願番号】 EP2017084490

(87)【国際公開番号】W WO2018115488

(87)【国際公開日】2018-06-28

【審査請求日】2020-11-17

(31)【優先権主張番号】01742/16

(32)【優先日】2016-12-25

(33)【優先権主張国・地域又は機関】CH

(73)【特許権者】

【識別番号】519197480

【氏名又は名称】ミクティック アーゲー

【氏名又は名称原語表記】ＭＩＣＴＩＣ ＡＧ

(74)【代理人】

【識別番号】100107456

【弁理士】

【氏名又は名称】池田 成人

(74)【代理人】

【識別番号】100162352

【弁理士】

【氏名又は名称】酒巻 順一郎

(74)【代理人】

【識別番号】100123995

【弁理士】

【氏名又は名称】野田 雅一

(72)【発明者】

【氏名】ナウアー， ロジャー

(72)【発明者】

【氏名】ラップ， トーマス

(72)【発明者】

【氏名】ヘラット， ロルフ

(72)【発明者】

【氏名】シャウプ， マルクス

【審査官】米倉 秀明

(56)【参考文献】

【文献】特開２００１－１９５０５９（ＪＰ，Ａ）

【文献】特開平０９－０９７０７０（ＪＰ，Ａ）

【文献】特開平０８－３１４４５５（ＪＰ，Ａ）

【文献】特開２００４－０５３９３０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ１０Ｈ １／００

Ｇ１０Ｈ １／３２

(57)【特許請求の範囲】

【請求項1】

感知ユニットの動きからの少なくとも１つの検出される力を聴覚信号に変換するための装置であって、
ａ）前記少なくとも１つの検出される力から力信号を生成するための、少なくとも１つのセンサと、
ｂ）前記力信号をデジタル聴覚信号に変換するように構成される処理ユニットと、
ｃ）前記デジタル聴覚信号を聴覚信号に変換するための出力ユニットと、
ｄ）前記少なくとも１つのセンサ及び前記処理ユニットが収容される第１のケーシングと、
ｅ）前記出力ユニットが収容される第２のケーシングと、
ｆ）処理ユニットと出力ユニットとの間で前記デジタル聴覚信号を無線で転送するためのデータ交換ユニットと、
を備える、前記装置において、
前記デジタル聴覚信号が、前記少なくとも１つの検出される力の加速度、強度、及び持続時間についての情報を含み、
前記処理ユニットが、前記力信号を、５～３５ｍｓの間の範囲のレイテンシを伴ってデジタル聴覚信号に変換するように構成されており、
前記デジタル聴覚信号がＭＩＤＩ信号である、装置。

【請求項2】

前記処理ユニットが、特に機械学習アルゴリズムを適用することによって、前記力信号（複数可）から事前学習した動きシーケンスを認識し、前記動きシーケンスをＭＩＤＩ信号に変換するように構成される、請求項１に記載の装置。

【請求項3】

前記第１のケーシング及び前記第２のケーシングが、特に形状嵌めの手段で、互いに着脱可能に組み合わせ可能に配置される、請求項１～２のいずれか一項に記載の装置。

【請求項4】

前記第１のケーシング及び／又は前記第２のケーシングが、前記それぞれのケーシングを１つ又は複数の第３のデバイスに取り付けるための、１つ又は複数の固定デバイスを有する、請求項２～３のいずれか一項に記載の装置。

【請求項5】

前記装置が、１つ又は複数のエネルギー源、特に１つ又は複数の再充電可能なエネルギー源を備える、請求項１～４のいずれか一項に記載の装置。

【請求項6】

前記装置が、少なくとも１つの通信システム、特にバスシステム及びそれぞれの接続を備える、請求項１～５のいずれか一項に記載の装置。

【請求項7】

前記処理ユニットが、第１のデジタル情報を第１の力信号次元に、第２のデジタル情報を第２の力信号次元に、第３のデジタル情報を第３の力信号次元に帰属させることによって、特に、第１のデジタル情報を加速度に、第２のデジタル情報を強度に、及び第３のデジタル情報を単一の検出される力の持続時間に帰属させることによって、前記力信号をデジタル聴覚信号に変換するように配置される、請求項１～６のいずれか一項に記載の装置。

【請求項8】

前記出力ユニットが、音声出力部及び／又は音声出力コネクタをさらに備える、請求項１～７のいずれか一項に記載の装置。

【請求項9】

前記装置が、記憶媒体、特にデジタル聴覚信号を記憶するための記憶媒体を備える、請求項１～８のいずれか一項に記載の装置。

【請求項10】

前記処理ユニットが、連続的に感知された力信号のシーケンスを、定義されたアルゴリズムにしたがってデジタル聴覚信号のシーケンスに変換するように構成される、請求項１～９のいずれか一項に記載の装置。

【請求項11】

前記センサが、少なくとも３軸で加速度を感知するように構成される、請求項１～１０のいずれか一項に記載の装置。

【請求項12】

複数の検出される力それぞれから力信号を生成するための複数のセンサを備え、前記処理ユニットが、前記複数の力信号を１つのデジタル聴覚信号に融合するように構成される、請求項１～１１のいずれか一項に記載の装置。

【請求項13】

前記処理ユニットが、時間間隔毎に処理された前記力信号から一連のデジタル聴覚信号を生成する、請求項１２に記載の装置。

【請求項14】

前記少なくとも１つのセンサが、前記装置に影響を及ぼす力を検出するように構成されるセンサであり、前記力が、前記装置に影響を及ぼす動き及び／又は衝撃であり、特に、前記少なくとも１つのセンサが、ジャイロスコープ、加速度計、及び磁気計から成る群から選択されるセンサである、請求項１～１３のいずれか一項に記載の装置。

【請求項15】

前記処理ユニットが、決定された変換プロトコル、特に予め選択され決定された変換プロトコルに基づいて、前記力信号をデジタル聴覚信号に変換するように構成される、請求項１～１４のいずれか一項に記載の装置。

【請求項16】

前記処理ユニットが、前記力信号を分類し、前記分類に基づいて決定された変換プロトコルに基づいて、前記力信号をデジタル聴覚信号に変換するように構成される、請求項１～１４のいずれか一項に記載の装置。

【請求項17】

物体に影響を及ぼす少なくとも１つの検出される力を聴覚信号に変換するための請求項１に記載の装置によって実行される方法であって、
ｃ）前記センサにより前記物体に影響を及ぼす力を感知し、前記処理ユニットにより前記力信号を特に２０ｍｓを下回るレイテンシを伴ってデジタル聴覚信号に変換するステップと、
ｄ）前記出力ユニットにより前記デジタル聴覚信号を聴覚信号に変換するステップと
を含む、方法。

【請求項18】

それぞれの力信号を特定のデジタル聴覚信号に帰属させるアルゴリズムが与えられる、請求項１７に記載の方法。

【発明の詳細な説明】

【発明の詳細な説明】

【0001】

本発明は、検出可能な力の変換に関し、特に、物体の動きからもたらされる力の、好ましくは娯楽目的のための、聴覚信号への変換に関する。本発明は、特に、少なくとも１つの検出される力を聴覚信号に変換する装置、その装置のための動作センサの使用、及び物体に影響を及ぼす少なくとも１つの検出される力を聴覚信号に変換するそれぞれの方法にさらに関し、すべては独立請求項の前提部分にしたがう。

【0002】

人の動きからもたらされる検出される力をデジタル信号に変換することができるデバイスは、娯楽業界より知られている。今日のゲーム機は、コントローラの空間的な動きをそのゲーム機によって処理されるデジタル信号に変換することができる、何らかのタイプのコントローラを備えるようになっている。これらのコントローラは、電子デバイスと対話するためのジェスチャ認識及び動作感応性を実装する。

【0003】

多くの場合、コントローラは、動きの検出から集められた情報を送信する手段によって、ゲーム機などの基地局と無線接続を維持する。

【0004】

ただし、こうしたあらゆるデバイスに関する１つの大きな問題は、ある一定の閾値を上回るレイテンシがゲーム環境への没入感を損なうことである。

【0005】

電子娯楽デバイスの分野における１つのさらなる適用例は、検出可能な力信号の音声信号への変換である。米国特許出願公開第２０１２／０２９７９６１号は、打楽器用パッド及び加速度計を有するキーターコントローラを開示している。キーターは、前面に複数の鍵盤を有し、１つの面からネックが延びているピアノ様式のキーボードを備える。さらに、キーボード本体の前面に複数のドラムパッドが配置されている。キーターは、マイクロプロセッサをさらに備え、マイクロプロセッサは、ドラムパッドのそれぞれの状態をスキャンするために配置され、ドラムパッドの状態に対応するＭＩＤＩノート信号を生成する。デバイスは、キーターの傾きに関連する情報をマイクロプロセッサに与える加速度計をさらに備える。この情報は、ＭＩＤＩの連続的なコントローラ値に変換され、その値は外部のシンセサイザ又はコンピュータを制御するためにキーターから出力される。すべてのこれらの機能は、より多彩な楽器を実現するためにキーターに実装される。

【0006】

一方、米国特許出願公開第２０１０／０１３２５３６号は、一般の人により直感的で利用しやすいミキシングなど音楽的な対話を目的とした音声対話の向上のための、ファイル作成処理及びそれぞれの装置を開示している。さらなる目的として、本発明は、音楽の再生を、テレビ放送のような一方的で静的な環境であることから対話的、動的、及び共同的な娯楽体験へと変更することを目的としている。この目的のため、音声波形歌曲をＭＩＤＩ時間グリッドと組み合わせる。本発明は、特定の態様として、いわゆる「対話的で共同的なデバイス」さらに備える。

【0007】

これは、新しい形式の音を実現するために、レトロ（ｒｅｔｒｏ）ファイルフォーマットと共にｉＰｈｏｎｅ加速度計を使用することによって、ｉＰｈｏｎｅ（登録商標）などのスマートフォンの形態をとってもよい。本書類によって提案される特定の例としては、次いである軸においてｉＰｈｏｎｅのそれぞれの動きによってトリガされ得る、特定の音声信号を動きのそれぞれの軸に割り当てることによるｉＰｈｏｎｅの加速度計の３軸の使用である。これはなおバックグラウンドで処理されているレトロフィット（ｒｅｔｒｏ ｆｉｔ）の歌曲から依存している。

【0008】

それゆえ、デバイスの動きからもたらされる検出可能な力を聴覚信号に変換をすることを可能にする、電子娯楽分野における使用のためのデバイスの必要性がある。そのようなデバイスは、没入的な音響体験を可能にし、トリガとなる動きにできるだけ密に関連した、生き生きとした音体験を作成すべきことが好ましく、ユーザの裁量で定義可能な所定の音パターンを伴うことが好ましい。

【0009】

それゆえ、最新技術の少なくとも１つの不利な点を克服する、デバイスの動きからもたらされる少なくとも１つの検出される力を聴覚信号に変換をするための装置を提供するための現在の目的。特に、効果的でありユーザのために没入感の向上を提供する、そのような装置、方法及びそれぞれのセンサの使用を提供することが、本発明の目的である。信頼性があり製造におけるコストが低い、そのようなデバイスを提供することが、本発明の特定のさらなる目的である。

【0010】

独立請求項の特徴部分により、そのような装置、方法、及びセンサの使用が提供される。

【0011】

本発明の一態様は、感知ユニットの動きからの少なくとも１つの検出される力を聴覚信号に変換するための装置である。装置は力信号形式少なくとも１つの検出される力を生成するための、少なくとも１つのセンサを備える。少なくとも１つのセンサが感知ユニットに含まれることが好ましい。装置は処理ユニットをさらに備え、処理ユニットは力信号をデジタル聴覚信号に変換するように構成される。

【0012】

処理ユニットも、感知ユニットに含まれることが好ましい。装置は、デジタル聴覚信号を聴覚信号に変換するための出力ユニットをさらに備える。

【0013】

出力ユニットも感知ユニットに含まれることができるが、代替的に、別個のアイテムの形態で感知ユニットとは別個であってもよい。

【0014】

出力ユニットは、特定の実施形態において、聴覚信号を出力するそれぞれの手段を有するノートブックパソコン、デスクトップコンピュータ、スマートフォン、及び／又はタブレットなどのコンピュータシステムの一部であってもよい。その基本的な形態において、出力ユニットはデジタル聴覚信号を聴覚信号に変換するためのラウドスピーカ及びそれぞれのインターフェースを備えるスマートフォンである。本発明による、この装置において、デジタル聴覚信号は単一の検出される力の加速度、強度、及び持続時間についての情報を含む。

【0015】

本発明の観念において、動きからもたらされる力を検出することができる適切な少なくとも１つのセンサは、その最も基本的な実装形態においては、加速度計であり得る。加速度計は、少なくとも加速度計を取り付けられた物体が受ける加速度を測定することができるべきであることが好ましい。加速度計は、その変位が加速度計が受ける加速度の指標として測定され、検出される機械的な動作を電気信号に変換するための圧電素子、ピエゾ抵抗素子、及び／又は容量素子によってデジタル信号に変換される慣性質量を有する。

【0016】

本発明の文脈においては、デジタル聴覚信号は音声データを含むことを必要としない。最も好ましい実施形態において、デジタル聴覚信号は音声信号生成素子を制御するためのステアリング信号（ｓｔｅｅｒｉｎｇ ｓｉｇｎａｌ）であり、デジタル聴覚信号がＭＩＤＩ信号であることが、さらにより好ましい。

【0017】

好ましい実施形態において、加速度計は少なくとも３軸における加速度を測定するように構成される。

【0018】

特定の実施形態において、デジタル聴覚信号は８ビット信号である。

【0019】

特定の実施形態において、装置は、機械学習アルゴリズムを適用して、事前学習した動きシーケンスを認識し、その動きシーケンスをデジタル聴覚信号に変換するように構成され、より詳細には、プロセッサが、機械学習アルゴリズムを適用するように構成される。例えば、プロセッサは、力信号を解析することによって装置の動きシーケンスを認識するように構成され、その動きシーケンスを事前学習した動きシーケンスとマッチングすることができる。この特定の例において、事前学習した動きシーケンスは、類似の力センサによって検出されたとなる動きの統計的に関連性のある数に基づいて生成された複数のパラメータから成り得る。これらのパラメータは、装置、並びに検出される力信号及び得られる動きシーケンスを事前学習したものとマッチングするために使用される機械学習アルゴリズムに埋め込まれる。マッチングの際、プロセッサは動きシーケンスを反映する特定のデジタル聴覚信号を生成するように構成される。

【0020】

特定の実施形態において、装置は、少なくとも１つのセンサ及び処理ユニットが収容される第１のケーシング、並びに出力ユニットが収容される第２のケーシングを備える。この装置は、デジタル聴覚信号を処理ユニットと出力ユニットとの間で転送するためのさらなるデータ交換ユニットを備え、データ交換ユニットは、デジタル聴覚信号を処理ユニットと出力ユニットとの間で無線で転送するように構成されていることが好ましい。特定の実施形態において、データ交換ユニットは、デジタル聴覚信号を処理ユニットと出力ユニットとの間で無線で転送するように構成される。さらなる特定の実施形態において、装置は、デジタル聴覚信号を処理ユニットと出力ユニットとの間で転送するためのポートを備える。特に好ましい実施形態において、デジタル聴覚信号を処理ユニットと出力ユニットとの間で無線で転送することは、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信プロトコルに基づいている。

【0021】

代替的な実施形態において、センサユニットは少なくとも１つのセンサと処理ユニットとを備え、同じく出力ユニットも一体型のケーシングに配置され、その一体型のケーシングには本発明による装置のすべての構成要素が配置される。この実施形態において、デジタル聴覚信号を処理ユニットと出力ユニットとの間で転送する手段は、２つのユニット間の単純な接続であり得、そのような物理的な接続及び／又は前述の無線通信手段を備えることができる。

【0022】

特定の実施形態において、出力ユニットはスマートフォンである。驚くべきことに、８ビット信号をデジタル聴覚信号として使用することによって、センサ上の力効果と聴覚信号の実際の出力との間のレイテンシがあるレベルまで低減され、ユーザ及びセンサの動きからもたらされる音声フィードバックについての没入感が最も可能性のある出現を提供するということが見出されている。力信号の検出によって生成されるデジタル聴覚信号に基づく力の感知と音声信号の出力との間のレイテンシは最大で３０ｍｓであることが好ましい。

【0023】

８ビット信号をデジタル聴覚信号として使用することにより、本発明の装置に関連して、同等の出力ユニットのより広い帯域幅が使用され得ることがさらに見出されている。これらの出力ユニットはユーザの希望によって聴覚信号の範囲を設けるように構成することができる。

【0024】

特定の実施形態において、第１のケーシング及び第２のケーシングは互いに着脱可能に組み合わせ可能であるように構成される。ケーシングのいずれか又は両方は、他方のケーシングに取り付けられるための手段を与える素子を備えるようになることが好ましい。そのような手段の例としては、形状嵌め、スナップ嵌め、磁石、及び／又は面ファスナがあり得る。

【0025】

この特定の実施形態において、いずれか１つ又は両方のケーシングは、共に保持するか、２つのケーシングのうちいずれか１つをさらなる物体に取り付けるようなやり方でユーザが両方のケーシングを組み合わせることを可能にする、それぞれの正側又は負側の嵌め構造を備えるようになり得る。例えば、第１のケーシングが動きを受ける物体に取り付け可能であることが、特に好ましいということが見出されている。特定の実施形態において、第１のケーシングはストラップ、又はラッシュ（ｌａｓｈ）を備えるようになることができ、それによって人、好ましくはしなやかな突出に取り付けができ、しなやかな突出の動きからもたらされる力信号を提供する。

【0026】

特定の実施形態において、第１のケーシングは、第１のケーシングをスポーツ用具などの動きのあるデバイスに着脱可能に取り付け可能にする手段を備える。自転車、ホッケースティック、ゴルフスティック、野球用グローブ及びバット、サッカーのゴールキーパー用の手袋、ランニングシューズ、フェンシング用武具、スキー、スノーボード、スポーツ用銃、ピンポン又はテニスラケット、などから成る群から選択されるスポーツ用具はすべて、本発明による装置によってデジタル聴覚信号、最終的には聴覚信号に変換することができる、特に楽しめる力信号の源を提供することが見出されている。

【0027】

特定の実施形態において、装置は１つ又は複数のエネルギー源、特に１つ又は複数の再充電可能なエネルギー源を備える。装置は１つ若しくは複数のＵＳＢ又はマイクロＵＳＢの充電可能なエネルギー源を、本発明及び前述の実施形態のいずれか１つによる装置を構成するいずれか一方、両方又は任意の数のケーシング上に備えるようになることができる。適切なエネルギー源は当業者によって、マイクロデバイス及びスマートフォン市場で入手可能なリチウムイオン電池から選択することができる。

【0028】

特定の実施形態において、装置は少なくとも１つの通信システム、好ましくはバスシステム及びそれぞれの接続を備える。さらにより好ましい実施形態において、装置は少なくとも１つのＵＳＢシステムを備える。

【0029】

特定の実施形態において、処理ユニットは、第１のデジタル情報を力信号次元に、第２のデジタル情報を第２の力信号次元に、第３のデジタル情報を第３の力信号次元に帰属させることによって、特に第１のデジタル情報を加速度に、第２のデジタル情報を強度に、及び第３のデジタル情報を単一の検出される力の持続時間に帰属させることによって、力信号をデジタル聴覚信号に変換するように配置される。この特定の実施形態において、デジタル聴覚信号は上記の３つの値から構成されるＭＩＤＩ信号などの８ビット信号を含む。本発明の潜在的な適用例において、このような信号の進行は、センサによって検出された元々の動きを思い出させる音が作成されるようにするための、聴覚信号のそれぞれの進行に変換することができる。この聴覚信号はそれを使用する人の希望により、それぞれがどのようにデジタル聴覚信号を聴覚信号に変換するかの特定のアルゴリズムを含む、所定のサウンドパッケージのセットから選ぶことによって、音調、リズム、及び変調を選ぶことができる。最も一般的には、これらのデジタル聴覚信号はＭＩＤＩ処理可能な信号の形態をとる。

【0030】

特定の実施形態において、出力ユニットは、音声出力部及び／又は音声出力コネクタをさらに備える。音声出力部は、例えば、ラウドスピーカ及び／又はアンプであり得る。音声出力コネクタの１つの特定の適切な例としては、音声ジャックソケットがあり得る。

【0031】

特定の実施形態において、装置は、記憶媒体、特にデジタル聴覚信号を記憶するための記憶媒体を備える。記憶装置ユニットは、センサによって検出され、処理ユニットによってデジタル聴覚信号に変換されるデジタル聴覚信号のシーケンスを記憶するように構成され得、又は特定のデジタル聴覚信号がプロセッサによって作り出されているのであれば出力され得るデジタル聴覚信号に帰する一連の聴覚信号を備えるようになることができる。適切な記憶媒体は、装置のいずれか１つの素子上のそれぞれのスロットに嵌るメモリカード及びフラッシュメモリカードなどの取り外し可能なタイプのものであってもよい。特定の例において、そのような取り外し可能な記憶媒体は特定の所定の選択の聴覚信号で満たすことができ、次いでそれぞれのデジタル聴覚信号が検出されると出力され、それによって及び検出された動きにしたがって重なり合わせる雰囲気又は音のタイプを演奏することができる。その逆もまた考えることができるが、又はこの前述の実施形態との組み合わせで使用することもできる。この操作の様式においては、一連のデジタル聴覚信号は、センサによって検出される動きのシーケンスにしたがってメモリカードに記録される。この記録は次いで、別のデバイス又は出力ユニットに転送し、聴覚信号の形式の出力とすることができる。

【0032】

別の特定の実施形態において、記憶媒体は事前学習した動きシーケンスをパラメータの形式で記憶するように構成される。操作の間、プロセッサは動きシーケンスをマッチングし、記憶された事前学習した動きシーケンスを使用してデジタル聴覚信号に変換する。これは、ユーザの動きシーケンスを事前学習した動きシーケンスとマッチングするために、機械学習アルゴリズムを利用することによって、さらに改善することができる。事前学習した動きシーケンス及び機械学習アルゴリズムを利用することによって、力信号をデジタル聴覚信号に変換する際のレイテンシをよりさらに低減することができる。

【0033】

特定の実施形態において、パラメータは力を検出することができるセンサによって検出される動きのベクトルから組み立てられる。実際には、例えば、センサは加速度計及び磁気計を備えることができ、動きのそれぞれの軸に１つとして、３つの入力ベクトルまでの特定の動きをそれぞれ与える。これらのベクトルはそのような測定の多数のセットに基づいてパラメータのセットを定義するために使用されるものであり、それらを計算するためにニューラルネットワークを適用する。

【0034】

次いでパラメータは装置の実行可能なソフトウェアに埋め込まれる固定された定数として使用され、以て動きシーケンスの認識を加速しそれらから得られるデジタル聴覚信号を生成する。

【0035】

特定の実施形態において、装置は、排除はしないが処理ユニットの操作及び装置の様々な電子機器部品の相互運用に必要とされる記憶バッファを含む、複数の記憶媒体を備えることができる。

【0036】

特定の実施形態において、記憶バッファは複数の同時的なデジタル聴覚信号を聴覚信号のシーケンスの形式での出力とする所要時間を計るために使用することができる。この操作の様式は３つすべての記録可能な軸において加速度の変化を伴う非常に複雑な動きをそれぞれ音の成分に翻訳することを可能にする。

【0037】

特定の実施形態において、処理ユニットは連続的に感知された力信号のシーケンスを定義されたアルゴリズムにしたがってデジタル聴覚信号のシーケンスに変換するように構成される。アルゴリズムは例えば、所定の第１の音調の出力を伴う特定の力信号を提供するように構成することができる。例えば、連続的に検出された力信号が右への動きである場合、第１の音調から始まるアルゴリズムはその第２の検出される動きに第２の音調を提供する。これとは対照的に、動きが左へ向かうものである場合、アルゴリズムは第２の検出される動きに左へのその動きを反映する異なる第２の音調を提供する。そのようなアルゴリズムで、異なるタイプの動き及びそれぞれの方向は、認識可能な動きのタイプを作る音パターンをもたらすことができる。特定の実施形態において、アルゴリズムは再現可能なやり方である一定の動きのタイプに同一のロジックを提供するように構成される。この実施形態において、本質的に同一の動きは結果として本質的に同一の聴覚信号となる。代替的に、アルゴリズムは定義された乱数生成にしたがってプログラムされてランダムなパターンを与えることができる。この実施形態において、２つの同一又は本質的に同一の動きは異なる聴覚信号を与える。

【0038】

特定の実施形態において、力センサは、少なくとも３つのアクセスにおける加速度を感知するように構成される。特定の実施形態において、装置は重力、振動及び動きなどの静的及び／又は動的な加速の力を感知するように構成される加速度計を備える。

【0039】

特定の実施形態において、装置は、複数の検出される力それぞれから力信号を同時的に生成するための複数のセンサを備える。プロセッサは次いで複数の力信号を１つのデジタル聴覚信号に融合するように構成されることができる。そのようなセンサは例えば、それぞれ単一の動きからデータを集めるジャイロスコープ、加速度計及び磁気計を備える慣性センサであってもよい。この単一の動きは次いで本発明の装置により互いに関連して働くこれらすべてのセンサからのデータに基づいて聴覚信号に翻訳される。

【0040】

特定の実施形態において、プロセッサは時間間隔毎に処理された力信号から一連のデジタル聴覚信号を生成する。ほとんどの動きは特定の時間間隔で一連の個別の加速度に分割することができる。そのような連続した時間間隔は装置によって登録され、特定の間隔セットルーチンにしたがい、したがって、一連の加速度を反映する聴覚信号及びそれらが起こるそれぞれの時間間隔がもたらされる。換言すると、特定の時間期間における一連の動きは、処理された聴覚デジタル信号に基づいて出力されるリズムに処理することができる。

【0041】

特定の実施形態において、少なくとも１つのセンサは装置に変化を与える力を検出するように構成されるセンサであり、力は動き及び／又は装置に変化を与える衝撃である。少なくとも１つのセンサはジャイロスコープ、加速度計、及び／又は磁気計から成る群から選択されるセンサであることが好ましい。上述のセンサ素子すべてを備えるセンサが特に適切である。

【0042】

本発明の実施形態において、処理ユニットは、決定された変換プロトコルに基づいて力信号をデジタル聴覚信号に変換するように構成される。この変化プロトコルは、例えば、特定のＭＩＤＩ音を特定の動きのタイプに帰属させるように構成される。

【0043】

好ましい実施形態において、決定された変換プロトコルは一連の変換プロトコルから予め選択された変換プロトコルである。記憶媒体は、例えば、ジャズ、ロックンロール、ヒップホップなどのタイプの音に基づいて、一連の決定された変換プロトコルを記憶することができ、好適な聴覚信号がその選択に基づいて作り出される。

【0044】

特定の実施形態において、プロセッサは力信号を分類するように構成され、この分類に基づき決定された変換プロトコルに基づいて力信号をデジタル聴覚信号に変換する。例えば、装置の固い物体との衝撃の際、装置の突然の減速が検出され得、装置に例えば、ゴング又はドラム打音のようなそのような衝撃を反映するデジタル聴覚信号を選ばせる。

【0045】

特定の実施形態において、プロセッサは力信号を５～３５ｍｓの間のレイテンシ、特に１０～２０ｍｓの間のレイテンシ、さらにより詳細には２０ｍｓを下回るレイテンシにてデジタル聴覚信号に変換するように構成される。力信号検出と聴覚信号出力との間の合計のレイテンシが３０ｍｓ以下であることが特に好ましい。

【0046】

特定の実施形態において、装置はさらなるマイクロフォンを備える。このマイクロフォンは周囲音を記憶媒体に録音するように調節することができ、一方装置によって検出される同時的な動きもまたその記憶媒体に記録される。これは装置が拡張現実イネーブラとして使用される場合の適用例に特に有用である。例えば、テニスの試合の音を記録し、動きから導出されるある一定の力信号の検出に基づく特定の聴覚信号によってさらに拡張することができる。本発明によるセンサユニットは、ネット、プレーヤのラケット、プレーヤの靴、さらにはグラウンドの特定のエリアに取り付け、試合の自然な音を拡張する聴覚信号に翻訳するデジタル聴覚信号を提供することができる。

【0047】

特定の実施形態において、マイクロフォンは、センサユニットによって検出される動きに基づくデジタル聴覚信号から導出される聴覚信号と同時的に出力ユニットから記録した音のライブ送信を行うように構成される。装置がセンサユニットから着脱可能な出力ユニットを備え、異なる場所に位置する時、そのような用具を用いて、動きのアクションをモニタリングして離れて体験することができる。

【0048】

特定の例において、ボクシンググローブはセンサユニットを備えることができる。出力ユニットは、動きの力を登録し、それを出力ユニットによって可読でマイクロフォンからのライブ音の体験を拡張するために使用できるデジタル聴覚信号に変形するセンサユニットによって与えられる拡張と同時的に、グローブにおいて直接記録された音を出力することになる。

【0049】

本発明の装置を用いて、電子的な娯楽の分野におけるデバイスが与えられ、それはその利用の様式において多彩であり、動き活動に伴う出現の程度の拡張をもたらす。

【0050】

特定の実施形態において、本発明を使用して通常は音のない環境又は音が唯一の特定の動きをモニタリングする手段である環境に音を提供することができる。

【0051】

本発明の一態様は、装置を前述のように白杖において使用することであり、白杖の動きを反映する聴覚信号を人に提供する。この実施形態において、感知ユニットは白杖の先端内又は先端付近に装着することができ、一方で出力ユニットを目立たないように耳の中に置くことができる。２つのユニット同士の間のＢｌｕｅｔｏｏｔｈ接続が感知ユニットから耳のマイクロフォンにデジタル聴覚信号を送信し、白杖の振動、抵抗及び動作についてのさらなる情報を与える。これについて、視覚的な障害を持つ人のための白杖をより正確で追加的な情報を与えるように作成することができ、以て視覚的な障害を持つ人に環境を案内することを支援する。特定の実施形態において、さらなるマイクロフォンが周囲音を検出して処理するか、又は白杖を操作する人の聴覚的な認識手段を向上させるようなそれぞれのフィルタを提供する。

【0052】

本発明の一態様は、物体に影響を及ぼす少なくとも１つの検出される力を聴覚信号に変換する方法である。聴覚信号はそれをトリガした力の性質及びタイプを何かしら反映したものであることが好ましい。この方法は、少なくとも１つの検出される力を聴覚信号に変換するための装置を用意するステップを含む。

【0053】

前述の装置が用意されることが好ましい。

【0054】

方法は、少なくとも１つの検出される力から力を生成するための少なくとも１つのセンサと、力信号をデジタル聴覚信号に変換するように構成される処理ユニットと、を物体に取り付けるさらなるステップを含む。センサユニット、及び処理ユニットの両方は、その装置の一体的な部分である。

【0055】

本発明の方法は物体に影響を及ぼす力をセンサで感知するステップと、力信号をデジタル聴覚信号に変換するステップと、をさらに含む。デジタル聴覚信号はＭＩＤＩ信号であることが好ましく、さらにより好ましい実施形態において、それと共に発生するレイテンシは３０ミリ秒の閾値を下回る。

【0056】

本発明の方法は、出力ユニットによりデジタル聴覚信号を聴覚信号に変換するステップをさらに含む。

【0057】

特定の実施形態において、それぞれの力信号を特定のデジタル聴覚信号に帰属させるアルゴリズムが与えられる。

【0058】

本発明の一態様は、前述の方法を実施するコンピュータ実行可能命令を備えるコンピュータプログラム製品である。特定の実施形態において、コンピュータプログラム製品は本発明の装置に埋め込まれる。

【0059】

本発明のさらなる一態様は、力信号を出力デバイスによって聴覚信号に変換され得るデジタル聴覚信号に変換するように構成される装置において力信号を生成するために、少なくとも１つの検出される力から力信号を生成するように構成される動きセンサの使用である。センサは、ジャイロスコープ、加速度計、磁気計、コンパス、慣性センサ、絶対方向センサ、及び／又は電磁気センサから成る群から選択される１つ又は複数の力検出センサを備えることが好ましい。

【0060】

本発明の一態様は、初めに説明したように装置、特に感知ユニットの動きからの少なくとも１つの検出される力を聴覚信号に変換するための装置の使用であり、装置は少なくとも１つのセンサ、処理ユニット、出力ユニットを備え、デジタル聴覚信号が単一の検出される力の加速度、強度、及び持続時間についての情報を含み、装置が３０ミリ秒を下回るレイテンシ、好ましくは２０ミリ秒を下回るレイテンシで、少なくとも１つの検出される力を聴覚信号に変換することができることにおいて特徴付けられる。

【0061】

本発明の文脈において、拡張現実は、本発明による装置によって作り出されるが、装置によって検出される動きに基づいて生じて処理される音によって豊かにされる特定の動きを伴う自然に発生する音として定義することができる。この聴覚的な拡張現実は、例えば、スマートフォン又は仮想現実ヘッドセットによりもたらされる視覚的な拡張現実と併せて使用することができる。

【0062】

特定の実施形態において、装置は聴覚信号において反映されるべき動きを有する物体に取り付けられる。

【0063】

本発明のさらなる一態様は、スポーツ用デバイスで実施される動きを聴覚信号で補完するための前述の装置の使用である。上述の装置は、装置、特にそのような装置の感知ユニットを、ホッケースティック、野球のバット、ピンポンのラケット、フェンシング用武具などのスポーツ用デバイスに締め付ける手段を備える。代替的に、スポーツ用デバイスを補完するための本発明による使用は、またそのようなスポーツ用デバイスに装置に関連する上述のような感知ユニットを設けることによって実現することもできる。この実施形態において、感知ユニット少なくとも１つのセンサはスポーツ用デバイスの動きを検出するように構成される。

【0064】

本発明のさらなる一態様は、動きをコーチングするための前述の装置の使用である。この目的のため、前述のように感知ユニット及びそれぞれの聴覚信号又は出力ユニットによる出力によって動きが感知される。処理ユニットは配置することができる動きに対するある一定の境界、それによって動きを、ユーザの動きがある境界の範囲内で実施されたかどうかについて、ユーザにフィードバックを与える特定の音パターンをもたらすデジタル聴覚信号に変換することが引き起こされる。この適用例では、ライブにしたがうことができる及び動きのそれぞれの位置について、聴覚フィードバックでサポートされる、動き処理の調和。特定の例において、処理ユニットはある一定の閾値内で起こる動きについての力信号をデジタル聴覚信号への変換することを省略するように構成することができる。閾値を超える、すなわち動きが速すぎるか、又は動作のある一定の範囲内にない、いずれかの場合を意味する場合、処理ユニットはデジタル聴覚信号を感知した力から生成し、次いでそのように定義された境界をユーザが過ぎてしまった正確な時間的なポイント及び動きの向きについてユーザフィードバックを提供する聴覚信号の形態の音をもたらす。

【0065】

この態様の特定の実施形態において、ある一定の動きパターンは、力センサによって小さくなるように処理ユニットによって認識される。処理ユニットは一連のデジタル聴覚信号を生成し、一連のデジタル聴覚信号は同調的な聴覚信号に対応する。動きが動きパターンから外れる場合、聴覚信号として高い音調が作り出され、したがって理想的な動きパターンを過ぎてしまったことをユーザにフィードバックを与える。

【0066】

この態様の特定の実施形態において、複数の感知ユニットが複数の物体を、それぞれの１つが個別に、例えば、物体の動きが特定のパターンにしたがっているかどうか、測定するように構成される。１つの可能性のある適用例としては、複数の動きの同時発生のリアルタイムレビューを有することである。この適用例は特にダンスにとって興味深いものである。

【0067】

この態様の特定の実施形態において、処理ユニットは別個の力センサからそれぞれ生じる複数の力信号を処理し、複数の力信号が互いに対する特定の所定の関連性にしたがうかどうかを解析するように構成される。この態様の代替的な実施形態において、複数の感知ユニットからの力信号を解析するように構成される処理ユニット、及び個別の感知から複数のデジタル聴覚信号を生成すること。

【0068】

本発明のさらなる一態様は、視覚的な画像を記録することができるビデオカメラに関連する前述の装置の使用である。この使用の特に好ましい実施形態において、ビデオカメラは動きが実施されている間動きを登録及び撮影することができる、いわゆるアクションカムコーダである。この実施形態において、本発明の装置は、動きが実施されアクションカメラによって記録されている間、同時的に動きからの力信号をデジタル聴覚信号へ変換することを調整するように構成される。したがってプロセッサは動きを特定の音パターンと結びつけるように構成される。

【0069】

この使用と共に、動きから記録されたフィルムを、デバイスの動きと併せて本発明による装置によって作り出された聴覚信号から得られる直接音声トラックと結合することが可能である。結果である組み合わせ生成物は、記録された動画の動きを反映する個別のサウンドトラックを伴う動画である。

【0070】

したがって、特定の実施形態において、サウンドトラックはユーザによって選ぶことができる所定のデジタル聴覚信号のセットに基づいて生成される。例えば、ハードロック、ジャズ、又はヒップホップ所定のサウンドトラックから選ぶことが可能であり、したがってプロセッサは検出された感知ユニットの動きに基づいて選ばれた音楽スタイルを反映するデジタル聴覚信号を生成する。

【0071】

本発明の特定の実施形態において、特定の動きパターンは特定のサウンドエフェクトに帰属され、感知ユニットによって検出されていると動的に生成される。動きの衝撃の速度又は強さなどの強度はまた、感知ユニットの測定にしたがって出力ユニットの音量、ピッチ、又はベースの強度によって反映することもできる。

【0072】

本使用の特定の実施形態において、装置はアクションカメラに取り外し可能に取り付け可能であるように構成され、それによって、カメラが実施するすべての動きを感知ユニットによって記録し、出力ユニットによってリアルタイムに出力することができる。

【0073】

本使用の特定の実施形態において、本発明による装置は、直接処理して、アップロード、再生、又は将来の使用のために記憶することができるように、動きを同時的に動画ファイル登録に登録するように構成される。この適用例は、さらなる動画処理技能又は手動でのサウンドトラックの追加を必要としない、アクションの動きからサウンドトラックで拡張した動画クリップの作成を可能にする。

【0074】

本使用の特定の実施形態において、プロセッサは、マイクロフォンによって装置に記録された音を、動きとして、又は動きによって生成されたサウンドトラックを伴う録音目的の、いずれかデジタル聴覚信号へさらに変換するように構成することができる。

【0075】

特定の好ましい実施形態において、マイクロフォンによって調節されるライブ音が、装置が取り付けられる物体の動きから得られるデジタル聴覚信号で拡張される。

【0076】

この使用は、自転車、ダウンヒル、スキー、パラグライダー、ランニング、水泳、スポーツカイト他、などのアクションカメラが使用される特にすべての分野と組み合わせて興味深い。本使用の特定の実施形態において、プロセッサから作成されるデジタル聴覚信号によって実現可能な所定のサウンドトラックの選択は特定のタイプのスポーツに適合される。装置が特定のタイプのスポーツに適合されるようになるか、又はすでにそれぞれのスポーツ用具に実装されていることが着想できる。

【0077】

本使用の特定の実施形態において、ユーザがリアルタイムに及びライブで出力ユニットの出力を体験することができるように、装置は出力ユニットとのＢｌｕｅｔｏｏｔｈ接続又はケーブル及び音声ジャックによる接続のいずれかの、さらなるイヤホンを備える。

【0078】

本発明のさらなる一態様は、健康目的のための前述の装置の使用である。装置はヨガ又は太極拳などのリラックスする動きと共に使用することができ、そのような動きのリラックス状態及び瞑想状態の深さを拡張するような対応する瞑想的な聴覚信号トラックを提供する。

【0079】

本使用の特定の実施形態において、装置は周囲音を除去するためのノイズフィルタを備えるヘッドセットをさらに備えるようになる。これはリラックスの動きの瞑想の練習を、気を散らすような周囲音をマスクし、本発明の装置から生成するそれぞれの音のフィードバックのみを聞くことによって完全に動きに集中することを可能にする。

【0080】

スポーツ、医療、娯楽、リラクゼーション目的について、本発明の装置の適用例の帯域幅は非常に広い。本発明の装置のすべての適用例に共通することは、動きのタイプ、強度、及び方向を反映するサウンドトラックで動きにリアルタイムの伴奏を付けることを可能にすることである。これはユーザがアクションへ高いレベルの出現に達することを可能にする装置及び装置の使用を提供し、したがって、適用例の分野において多彩な娯楽用デバイスを提供する。

【0081】

説明した特定の実施形態のうちいずれも、それらが相互に排他的ではないか、代替的であると明らかに述べられない限り、あらゆる組み合わせにおいて、本発明による装置又は装置の使用において実現できることが、当業者には明白である。

【0082】

以下では、本発明が概略図及び具体例によって、それに限定されることないが、さらに例示される。

【図面の簡単な説明】

【0083】

例及び図面は、本発明のさらに有利な実施形態を当業者に提供する。

【図1】本発明による装置の機能性を示す概略ブロック図である。

【0084】

図１は、本発明による装置１０の機能の２つの様式を表現するブロック図を概略的に示している。図１に示すような装置１０は、感知ユニット１１、及びこの場合では複数の出力ユニット３に分離することができる。感知ユニット１１は、センサ１、又はこの具体的な例の場合では、加速度、回転、磁場のそれぞれについてｘ、ｙ、ｚの３軸の９つの軸センサを備えるセンサアレイ１を備える。当技術分野では、線形動作及び重力、空間での回転率（回転、ピッチ、ヨー）、地球の磁場、を測定するための、一体化された加速度計を伴う絶対方向センサ、ジャイロスコープ、及び磁気計を実現するＢｏｓｃｈ製のＢＮＯ０５５などの適切なセンサが使用可能であり、前記情報を提供し、それをデジタル可読力信号に処理するためにすべての必要とされるセンサを備えるようになり、次いで、この実施形態においては、感知ユニット１１の一体的な部分を形成する処理ユニット２によって処理することができる。次いで、処理ユニットは、センサ１によって測定された力信号をデジタル聴覚信号に変換し、次いでそれはＢｌｕｅｔｏｏｔｈモジュール１５によって送信される。この特定の例において、Ｂｌｕｅｔｏｏｔｈモデルは力信号を処理するために必要とされるマイクロプロセッサを備えるようになり、したがって、処理ユニット２及びＢｌｕｅｔｏｏｔｈモジュール１５は両方とも同一の一体的なモジュールの部分となり得る。

【0085】

本例において、Ｂｌｕｅｔｏｏｔｈモジュール１５からの送信は、ＭＩＤＩフォーマットのデジタル聴覚信号の形式で行われる。

【0086】

操作の第１の様式では、装置全体を１つにするように、出力ユニットはこの感知ユニットと組み合わせることができる。本例において、出力ユニット３は感知ユニット１１と一体的に形成し得るか、別個の機器であり得るかの、いずれかである。第２の場合、出力ユニット３は感知ユニット１１のＢｌｕｅｔｏｏｔｈモジュール１５からデジタル聴覚信号を受信するためにさらなるＢｌｕｅｔｏｏｔｈモジュールを必要とすることになる。出力ユニット３は音作成モジュール１６及びラウドスピーカ１７を備える。

【0087】

代替的に、又は追加的に、出力ユニット３’の機能はスマートフォンによって実施することができる。本例において、スマートフォンは出力ユニット３’の形態をとる。スマートフォンは感知ユニット１１のＢｌｕｅｔｏｏｔｈモジュール１５からＭＩＤＩ信号の形式でデジタル聴覚信号を受信することができるＢｌｕｅｔｏｏｔｈモジュール１５’を備えるようになる。別個の又は一体的な出力ユニット３の機能性と類似して、スマートフォン出力ユニット３’は次いでＭＩＤＩファイルを、ラウドスピーカ１７’によって音の出力をもたらす音作成モジュール１６’で処理する。一体的な又は別個の出力ユニット３の最も単純な実施形態によって与えられる機能性に追加で、スマートフォン出力ユニット３’は予め選択された範囲の音のタイプから、ラウドスピーカ１７’によって異なるタイプの音の出力をもたらす音作成モジュール１６’によって次いでＭＩＤＩファイルで実行できる特定の変調を選ぶ手段を提供する構成手段１８を備えるようになることができる。

【0088】

この構成モジュール１８はスマートフォンアプリによって制御することができ、ユーザに向上した機能性を与える。さらなるスマートフォンリソースを使用することによって、音ファイルを適合するための構成の異なる範囲を提供することが可能になる。これはデジタルダウンロード及び／又はプリセット並びに予め設定される音パターンの形式となることができる。もちろん、スマートフォンはさらなる機能性を提供し、ブロック図には示していないが、画面による視覚的な表現、メモリ記憶装置、及びインターネットとの無線又はＵＳＢ接続などすべての現代的なスマートフォンには一体的である。

【0089】

アプリは、本発明による装置１０によって処理される動きとのさらなる対話性を可能にするために、音が生成される際、音を直接操作及び変調する手段をさらに提供する。

【0090】

特定の例において、ラウドスピーカ１７、１７’は、近接するラウドスピーカ又はさらなるラウドスピーカと接続することができる音声ジャックによってさらに補完される。

【0091】

特定の例において、装置がアクションカメラと併せて使用される場合、本発明の装置１０による音の処理をアクションカメラによって生成されるフィルムファイルに直接提供するように、音声出力ジャックはアクションカメラの音声入力ジャックを装置１０と接続するために使用することができる。

【0092】

この特定の例において、動き感知ユニットからの力として登録される実際の動きからラウドスピーカ１７における聴覚信号の作成までの間のレイテンシは３０ミリ秒を下回る。これは音を伴う動きへの深い出現を可能にする。デジタル聴覚信号のＢｌｕｅｔｏｏｔｈ送信は、最大１５ミリ秒のレイテンシを有するが、力の検出及び処理は最大１５ミリ秒のレイテンシを有する。

【0093】

特定の例において、力信号をデジタル聴覚信号に変換するためのプロセッサ上で動作するアルゴリズムは急な、突然の動きと継続的な動きを区別することができる。急な、突然の動きの場合、音によって動きが急であることを伝えるように、レイテンシはできるだけ短く保たれる。驚くべきことに、レイテンシは継続的な動きの変換には関連性があまりないことが見出されている。したがって急な、突然の動き同士を区別するために備え付けられるプロセッサは、検出される力信号をデジタル聴覚信号に変換することにおけるそれぞれの優先順位、急な、突然の動きが優先付けられ、以て出現を損なわない。

【0094】

以下において、本発明の装置の使用及び実装形態について、特定の例を提示する。
例１：レーザー剣

【0095】

この特定の例において、本発明の装置はレーザー剣を模するために使用される。レーザー剣は、扱う際に特徴的な「シューッ」という音をもたらす架空のよく知られた人気のあるメディアアイテムである。この例において、本発明の装置は、本発明の装置を着脱可能に取り付けることができる任意のアイテムでこの音を模するために使用される。プロセッサは特に、上述のセットアップにしたがって、箒へのその最も基本的な適用例はそれぞれの感知素子１０へ取り付けることによって使用することができる、剣の架空の柄の動き、位置、剣の振り、架空の柄の返し、及び２本の剣の衝突を検出するように構成される。１つ又は複数の出力ユニット３、３’は次いでそれぞれのレーザー剣の音を作成するように構成することができる。特に関連する剣において、戦闘中の２本のライトセイバーがぶつかる際の衝撃とは対照的に、音は剣の柄の振り及び返しを含む連続する、流れるような動きに分割することができる。この適用例におけるプロセッサは２つのタイプの動き同士を区別し、アイテムの剣への衝撃などの即時のサウンドエフェクトを必要とするこの場合に特定の優先順位を提供するように構成される。上述で列挙したようなセンサなどの一般的に使用可能なセンサは、そのような動きを区別することができ、プロセッサがその優先順位付けを実施するために必要とされる情報を提供する。

【0096】

ユーザ体験を拡張し、レーザー剣のデュオ（ｄｕｏ）への出現を提供するように、複数のセンサの動きを測定しそれぞれの音フィードバックを提供することによって、２つのライトセイバーが音を立てる、又はよりさらには同時的に処理され得ることは、本発明による装置の特定の利点である。

【0097】

この装置は特定のソフトウェア製品、並びにドップラー効果音（ライトセイバー及びレーザー剣はそれについてよく知られている）をもたらすように構成される特定の音ファイルを備えるようになることができる。
例２：卓球ラケット

【0098】

レーザー剣のものに非常に類似している、この特定の例では、上述の２つの感知ユニットは卓球ラケットにそれぞれ取り付けられているか一体的に形成されている。代替的に、ピンポン用ボールが感知ユニットを備えることができるが、ピンポン用ボールは軽量であることが特定の必要事項であることを考慮すると、これはラケットに備えるほうがより賢明であろう。

【0099】

処理ユニットはピンポン用ボールの衝撃、衝撃の強さ、振りの速さ及び方向、並びに打ち方のフォアハンド／バックハンドを感知するように特に構成される。特定の例において、この音はアーケード版のようなコンピュータゲームの形態をとることができる。これはピンポンの試合を観戦及び対戦することをより楽しいものとする。

【0100】

本発明の装置の特定の使用は、練習目的であってもよい。ある一定の境界内における特定の打ち方の動きの完全性又は動きの非常に敏感な検出は、本発明の装置の動作検出及び感知によってモニタリングすることができる。この例において、例えば、卓球ラケットがある一定の線を越えると、ユーザへの通知を伴う傾きを表すような音、又は動きの正確なレビューを可能にするようなイベントのコーチングをもたらす。
例３：サウンドペインティング（Ｓｏｕｎｄ ｐａｉｎｔｉｎｇ）

【0101】

この例において、１つ又は複数の感知ユニットを使用して、開始位置、動きの速さ、感知ユニットの旋回、並びに特定の動きパターンに対応するライブ音を作成するための感知ユニットのビーティングに対する位置を検出する。ダンス及び／又は芸術的な動きは対応するサウンドエフェクトに直接変換することができる。

【0102】

特にサウンドペインティングについては、力信号又は一連の力信号を事前学習した動きシーケンスとマッチングするため、及び動きシーケンスを反映する特定のデジタル聴覚信号を生成するために、機械学習が適用され得る。装置は複数の事前学習した動きシーケンスを備えるようになることができ、それぞれはダンスの動き及び特定の聴覚信号としてそれぞれ得られるものを表現している。

【0103】

この目的のため、ダンスの動きを上述の装置で分析することによってパラメータを生成することができる。これらのパラメータは、ダンスの動きが繰り返し実施されている間、例えばそのような装置の加速度計、磁気計などの様々なセンサ手段から力信号をインデックス付けすることから、得ることができる。これらのパラメータは装置のファームウェアに埋め込まれた後、ダンスの動きから得られる力信号とマッチングすることができ、検出及び音の動きを事前学習した動きシーケンスとマッチングする際、サウンドエフェクトの非常に小さいレイテンシ生成をもたらすことができる。この目的のため、機械学習アルゴリズムを使用することができる。

【0104】

本発明の装置のさらなる有利な実装形態が当業者によって従属請求項及び本発明の詳細な説明から容易に工夫され得る。
［発明の項目］
［項目１］
感知ユニットの動きからの少なくとも１つの検出される力を聴覚信号に変換するための装置であって、
ａ）前記少なくとも１つの検出される力から力信号を生成するための、少なくとも１つのセンサと、
ｂ）前記力信号をデジタル聴覚信号に変換するように構成される処理ユニットと、
ｃ）前記デジタル聴覚信号を聴覚信号に変換するための出力ユニットと
を備える、前記装置において、
前記デジタル聴覚信号が、単一の検出される力の加速度、強度、及び持続時間についての情報を含む、装置。
［項目２］
前記処理ユニットが、特に機械学習アルゴリズムを適用することによって、前記力信号（複数可）から事前学習した動きシーケンスを認識し、前記動きシーケンスをデジタル聴覚信号、特にＭＩＤＩ信号に変換するように構成される、項目１に記載の装置。
［項目３］
前記少なくとも１つのセンサ及び前記処理ユニットが収容される第１のケーシングと、前記出力ユニットが収容される第２のケーシングと、処理ユニットと出力ユニットとの間で前記デジタル聴覚信号を転送するためのデータ交換ユニット、特に処理ユニットと出力ユニットとの間で前記デジタル聴覚信号を無線で転送するためのデータ交換ユニットと、を備える、項目１又は２に記載の装置。
［項目４］
前記第１のケーシング及び前記第２のケーシングが、特に形状嵌めの手段で、互いに着脱可能に組み合わせ可能に配置される、項目１～３のいずれか一項に記載の装置。
［項目５］
前記第１のケーシング及び／又は前記第２のケーシングが、前記それぞれのケーシングを１つ又は複数の第３のデバイスに取り付けるための、１つ又は複数の固定デバイスを有する、項目２～４のいずれか一項に記載の装置。
［項目６］
前記装置が、１つ又は複数のエネルギー源、特に１つ又は複数の再充電可能なエネルギー源を備える、項目１～５のいずれか一項に記載の装置。
［項目７］
前記装置が、少なくとも１つの通信システム、特にバスシステム及びそれぞれの接続を備える、項目１～６のいずれか一項に記載の装置。
［項目８］
前記処理ユニットが、第１のデジタル情報を第１の力信号次元に、第２のデジタル情報を第２の力信号次元に、第３のデジタル情報を第３の力信号次元に帰属させることによって、特に、第１のデジタル情報を加速度に、第２のデジタル情報を強度に、及び第３のデジタル情報を単一の検出される力の持続時間に帰属させることによって、前記力信号をデジタル聴覚信号に変換するように配置される、項目１～７のいずれか一項に記載の装置。
［項目９］
前記出力ユニットが、音声出力部及び／又は音声出力コネクタをさらに備える、項目１～８のいずれか一項に記載の装置。
［項目１０］
前記装置が、記憶媒体、特にデジタル聴覚信号を記憶するための記憶媒体を備える、項目１～９のいずれか一項に記載の装置。
［項目１１］
前記処理ユニットが、連続的に感知された力信号のシーケンスを、定義されたアルゴリズムにしたがってデジタル聴覚信号のシーケンスに変換するように構成される、項目１～１０のいずれか一項に記載の装置。
［項目１２］
前記力センサが、少なくとも３軸で加速度を感知するように構成される、項目１～１１のいずれか一項に記載の装置。
［項目１３］
複数の検出される力それぞれから力信号を生成するための複数のセンサを備え、プロセッサが、前記複数の力信号を１つのデジタル聴覚信号に融合するように構成される、項目１～１２のいずれか一項に記載の装置。
［項目１４］
前記プロセッサが、時間間隔毎に処理された前記力信号から一連のデジタル聴覚信号を生成する、項目１３に記載の装置。
［項目１５］
前記少なくとも１つのセンサが、前記装置に影響を及ぼす力を検出するように構成されるセンサであり、前記力が、前記装置に影響を及ぼす動き及び／又は衝撃であり、特に、前記少なくとも１つのセンサが、ジャイロスコープ、加速度計、及び磁気計から成る群から選択されるセンサである、項目１～１４のいずれか一項に記載の装置。
［項目１６］
前記処理ユニットが、決定された変換プロトコル、特に予め選択され決定された変換プロトコルに基づいて、前記力信号をデジタル聴覚信号に変換するように構成される、項目１～１５のいずれか一項に記載の装置。
［項目１７］
前記プロセッサが、前記力信号を分類し、前記分類に基づいて決定された変換プロトコルに基づいて、前記力信号をデジタル聴覚信号に変換するように構成される、項目１～１５のいずれか一項に記載の装置。
［項目１８］
前記プロセッサが、前記力信号を、５～３５ｍｓの間のレイテンシ、特に１０～２０ｍｓの間のレイテンシ、さらにより詳細には２０ｍｓを下回るレイテンシを伴ってデジタル聴覚信号に変換するように構成される、項目１～１７のいずれか一項に記載の装置。
［項目１９］
少なくとも１つの検出される力から力信号を生成するように構成される動きセンサの使用であって、特に、センサが、出力デバイスによって聴覚信号に変換され得るデジタル聴覚信号に前記力信号を変換するように構成される装置において力信号を生成するために、ジャイロスコープ、加速度計、磁気計、コンパス、慣性センサ、絶対方向センサ、及び／又は電磁気センサから成る群から選択される１つ又は複数の力検出センサを備える、動きセンサの使用。
［項目２０］
物体に影響を及ぼす少なくとも１つの検出される力を聴覚信号に変換する方法であって、
ａ）少なくとも１つの検出される力を聴覚信号に変換するための装置、特に項目１に記載の装置を用意するステップと、
ｂ）前記少なくとも１つの検出される力から力信号を生成するための少なくとも１つのセンサと、前記力信号をデジタル聴覚信号に変換するように構成される処理ユニットと、を前記物体に取り付けるステップであって、前記少なくとも１つのセンサと前記処理ユニットとの両方が前記装置に一体的な部分である、ステップと、
ｃ）前記センサにより前記物体に影響を及ぼす力を感知し、前記力信号を特に２０ｍｓを下回るレイテンシを伴ってデジタル聴覚信号に変換するステップと、
ｄ）出力ユニットにより前記デジタル聴覚信号を聴覚信号に変換するステップと
を含む、方法。
［項目２１］
それぞれの力信号を特定のデジタル聴覚信号に帰属させるアルゴリズムが与えられる、項目２０に記載の方法。

【図1】