特許 6789975 管楽器と組み合わせ可能な、電子音を発生させるための電子システムおよびこのようなシステムを含む楽器

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6789975

(24)【登録日】2020年11月6日

(45)【発行日】2020年11月25日

(54)【発明の名称】管楽器と組み合わせ可能な、電子音を発生させるための電子システムおよびこのようなシステムを含む楽器

(51)【国際特許分類】

   G10H 1/00 20060101AFI20201116BHJP

   G10D 7/026 20200101ALI20201116BHJP

   G10D 7/06 20200101ALI20201116BHJP

【ＦＩ】

   G10H1/00 A

   G10D7/026

   G10D7/06

【請求項の数】15

【全頁数】21

(21)【出願番号】特願2017-555497(P2017-555497)

(86)(22)【出願日】2016年4月18日

(65)【公表番号】特表2018-518698(P2018-518698A)

(43)【公表日】2018年7月12日

(86)【国際出願番号】EP2016058568

(87)【国際公開番号】WO2016173879

(87)【国際公開日】20161103

【審査請求日】2019年4月11日

(31)【優先権主張番号】1553857

(32)【優先日】2015年4月29日

(33)【優先権主張国】FR

(73)【特許権者】

【識別番号】311015001

【氏名又は名称】コミサリヤ・ア・レネルジ・アトミク・エ・オ・エネルジ・アルテルナテイブ

(74)【代理人】

【識別番号】110001173

【氏名又は名称】特許業務法人川口國際特許事務所

(72)【発明者】

【氏名】スーベストル，フロラン

【審査官】 山下 剛史

(56)【参考文献】

【文献】 特開平７−１４６６７８（ＪＰ，Ａ）

【文献】 特開平３−２０７９３（ＪＰ，Ａ）

【文献】 特開平１１−６５５５８（ＪＰ，Ａ）

【文献】 特開２００９−１９３０２３（ＪＰ，Ａ）

【文献】 特開２０１０−６６６４０（ＪＰ，Ａ）

【文献】 韓国登録特許第１０−１３８００２２（ＫＲ，Ｂ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ１０Ｈ １／００−７／１２

Ｇ１０Ｄ ７／００−７／１６

(57)【特許請求の範囲】

【請求項1】

横穴（６００、１８００）を有し、内側に気柱を画定する管状本体を含む管楽器と組み合わせることのできる電子システムにおいて、前記楽器の本体内に弾性機械波動を発生させるための少なくとも１つの装置（Ｅ１、ＥＮ）と、弾性機械波動を受け取るための少なくとも１つの装置（Ｒ１、ＲＮ）であって、前記少なくとも１つの発生装置（Ｅ１、ＥＮ）により発せられた前記波動を、前記楽器の前記本体の素材内を伝播した後に受け取るように位置付けられ、かつ受け取った前記波動の少なくとも１つの受信信号特性を提供するように設計された少なくとも１つの装置（Ｒ１、ＲＮ）と、前記楽器の少なくとも１つの横穴を閉じる動作により誘導された擾乱を検出し、位置特定するための装置（４２４）であって、前記少なくとも１つの受信信号の分析から前記楽器の前記横穴の閉鎖状態を検出し、特定するように構成された装置（４２４）と、を含み、前記検出および位置特定装置は、前記楽器の前記気柱の内部に取り外し可能に位置付けられる電子システム。

【請求項2】

１つの受信装置（Ｒ１、ＲＮ）を含む、請求項１に記載の電子システム。

【請求項3】

２つの受信装置（Ｒ１、ＲＮ）を含む、請求項１に記載の電子システム。

【請求項4】

前記検出および位置特定装置（４２４）は、前記楽器の半音階タブ譜から、検出された前記楽器の前記横穴の前記閉鎖状態に関連付けられる音を判断するように構成される、請求項１〜３の何れか１項に記載の電子システム。

【請求項5】

前記検出および位置特定装置（４２４）は、
− 前記楽器の前記横穴の前記閉鎖状態の配列を、すべての可能な配列の中で変化させることを含む第一の、学習段階を実行し、各配列について、前記少なくとも１つの受信信号の少なくとも１つの参照特性を記録し、
− 使用者が前記楽器を演奏中に、前記使用者が演奏する各音について、前記少なくとも１つの受信信号の、前記参照特性と同等の少なくとも１つの現在の特性を記録し、前記現在の特性を前記記録された参照特性のすべてと比較して、そこから前記使用者が動かした前記楽器の前記穴の前記閉鎖状態を推定することを含む第二の、モニタ段階を実行する
ように構成される、請求項１〜４の何れか１項に記載の電子システム。

【請求項6】

弾性機械波動を発生させるための各装置（Ｅ１、ＥＮ）と弾性機械波動を受け取るための各装置（Ｒ１、ＲＮ）について、前記装置を前記管楽器の前記本体に取り外し可能に固定する手段を含む、請求項１〜４の何れか１項に記載の電子システム。

【請求項7】

前記取り外し可能な固定手段は以下の手段、すなわち接着剤、クランプ、クリップ、磁石、リングから選択される、請求項６に記載の電子システム。

【請求項8】

弾性機械波動を発生させるための前記少なくとも１つの装置（Ｅ１、ＥＮ）と弾性機械波動を受け取るための前記少なくとも１つの装置（Ｒ１、ＲＮ）は、前記管楽器の取り外し可能な部分（５００、１８０５、１９１１、１９１２）に位置付けられる、請求項１〜５の何れか１項に記載の電子システム。

【請求項9】

前記検出および位置特定装置（４２４）を前記管楽器の前記気柱の内部に取り外し可能に固定する手段を含む、請求項１〜８の何れか１項に記載の電子システム。

【請求項10】

前記検出および位置特定装置（４２４）は、前記管楽器の取り外し可能な部分に位置付けられ、その内部は一部が中空で気柱を画定しており、前記検出および位置特定装置は前記気柱の中に位置付けられる、請求項１〜８の何れか１項に記載の電子システム。

【請求項11】

前記楽器の前記取り外し可能な部分は、前記楽器の以下の取り外し可能な部分、すなわちネック、ベル、バレル、スモールバレル、マウスピースから選択される、請求項８または１０記載の電子システム。

【請求項12】

弾性機械波動を発生させるための装置（Ｅ１、ＥＮ）は圧電アクチュエータであり、弾性機械波動を、その伝播後に受け取る装置（Ｒ１、ＲＮ）は圧電受信器である、請求項１〜１１の何れか１項に記載の電子システム。

【請求項13】

前記検出および位置特定装置（４２４）に接続された、前記楽器の前記穴の前記検出された閉鎖状態に関連付けられる音を、前記楽器の半音階タブ譜に応じて使用者に向けて再生するための音声合成装置（１９１３、１９１４）も含む、請求項１〜１２の何れか１項に記載の電子システム。

【請求項14】

アコースティック音およびデジタル音を選択的に生成するように意図された、横穴（６００、１８００）を有する管楽器において、請求項１〜１３の何れか１項に記載の電子システムと組み合わされた、横穴を有する管楽器を含む、管楽器。

【請求項15】

前記楽器はサクソフォンまたはクラリネットまたはフルートまたはオーボエまたはバスーンである、請求項１４に記載の横穴を有する管楽器。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ハイブリッド管楽器、すなわち、第一の、アコースティックモードと、第二の、デジタルモードにより交互に動作可能な管楽器の技術分野に関する。本発明は、横穴を有するあらゆる種類の管楽器に適用され、これにはクラリネット、サクソフォン、フルート、オーボエ、イングリッシュホルン、またはバスーンが含まれるが、これらがすべてではない。

【背景技術】

【0002】

アコースティック動作モードは、管楽器の本来の動作モードである。このモードでは、音は楽器の気柱の、奏者の吹奏によりトリガされる振動によって生成される。

【0003】

デジタル動作モードは、管楽器に電子コンポーネントを取り付けることにあり、それによって、そのコンポーネントから生成される１つまたは複数の電気信号に音声合成技術を応用することにより得られるデジタル音の生成が可能となる。

【0004】

管楽器のデジタル動作モードによって、特に、ヘッドセットを通じて奏者にデジタル化された音が再生されるようにすることにより楽器を無音にすることが可能である。実際、アコースティックでの音楽の練習は、騒音による迷惑の根源になりかねず、ミュージシャンは特定の時間帯にしか演奏できないように制約されるか、さらにはこの楽器を練習しようとする気持ちをそいでしまう可能性がある。

【0005】

デジタル動作の他の利点は、音声合成技術によって音調の幅が広がることである。

【0006】

これに関して解決すべき１つの課題は、アコースティックの管楽器と組み合わせることができ、使用者がデジタル動作モードからアコースティック動作モードへと切り換えることができるように容易に逆転可能な電子システムをどのように設計するか、である。

【0007】

解決すべき別の課題は、ミュージシャンと楽器との相互作用から音声合成を実行することを可能にするシステムをどのように設計するか、である。

【0008】

楽器を無音にする第一の方法は、楽器により生成される音を減衰させることによる。そのためには、発泡材等の吸収材の使用に基づく方法または包むことによる減衰に基づく方法が知られている。これらの方法は非干渉的で安価であるが、考慮される音響スペクトル全体にわたり十分に有効であるとは言えない。一般に、横穴を有する管楽器により生成される音は、その他の楽器、例えば真鍮類による楽器により生成される音より減衰させにくい。

【0009】

騒音による迷惑を制限するための別の方法は、楽器のアコースティック動作に代わる装置、換言すれば完全なデジタル楽器を使用することによる。この種の楽器では、吹奏パラメータ（強さおよび唇での挟み方）のほか、楽器上の指の位置を測定することが同時に可能となる。キーは静的とすることも、機械的とすることもできる。この種の楽器は、シンセサイザに連結され、幅広い音調を持つことが可能となり、使いやすいことがわかっている。その必要最低限の技術的設計により、それは費用の点で比較的近付きやすい製品となる。その反面、このような器具の制御はクラリネットやサクソフォンとは異なり、これはその構成とキーおよびマウスピースの機械的挙動による。したがって、この楽器には補足的な、共通でない学習が必要となり、これは、ミュージシャンが自分のアコースティック楽器の技能を高めたい場合に不満となる。

【0010】

特許文献１、２および３には、アコースティックまたはデジタル動作を交互に可能にするハイブリッド管楽器が記載されている。これらの特許において検討されているデジタル化技術は、ホール効果センサまたは赤外線検出器に基づいており、これらを楽器の各キーの上に永久的に別々に位置付けなければならない。したがって、これらの技術では多数のセンサを必要とし、これは不可逆的であり、アコースティックモードでの楽器の動作の障害となりうる。

【先行技術文献】

【特許文献】

【0011】

【特許文献1】欧州特許第１５８５１０７号明細書

【特許文献2】欧州特許第２０１７８２３号明細書

【特許文献3】米国特許第７５０１５７０号明細書

【発明の概要】

【課題を解決するための手段】

【0012】

本発明は、横穴を有する管楽器と組み合わせることができ、楽器の穴の閉鎖状態を超音波音響信号、より一般的には弾性機械波動の発生器と受信器を通じて検出することに基づく電子システムを提案する。

【0013】

本発明によるシステムは、取り外してアコースティックモードでの動作を可能にするという利点を提供し、横穴を有するあらゆる種類の管楽器に適応させることができる。

【0014】

さらに、本発明が必要とする手段は、先行技術により提案されているものより非干渉的で、より小型である。特に、本発明は、楽器の何れかの地点に位置付けられる１つの発生器と１つの受信器で動作でき、したがって楽器の横穴と同じ数のセンサを必要としない。センサを楽器の上で正確に位置付けることについての制約がないことから、使用者にとってできるだけ不快とならないシステムを構想できる。

【0015】

本発明の主題は、横穴を有し、内側に気柱を画定する管状本体を含む管楽器と組み合わせることのできる電子システムであり、前記システムは、楽器の本体内に弾性機械波動を発生させるための少なくとも１つの装置と、弾性機械波動を受け取るための少なくとも１つの装置であって、発せられた波動を、楽器の本体の素材内を伝播した後に受け取るように位置付けられ、かつ受け取った弾性機械波動の少なくとも１つの受信信号特性を提供するように設計された少なくとも１つの装置と、楽器の少なくとも１つの横穴を閉じる動作により誘導された擾乱を検出し、位置特定するための装置であって、前記少なくとも１つの受信信号の分析から楽器の横穴の閉鎖の配列を検出し、特定するように構成された装置と、を含み、前記検出および位置特定装置は、楽器の気柱の内部に取り外し可能に位置付けられる。

【0016】

本発明の特定の態様によれば、本発明による電子システムは、１つの受信装置または２つの受信装置を含む。

【0017】

本発明の特定の態様によれば、検出および位置特定装置は、楽器の半音階タブ譜から、検出された楽器の横穴の閉鎖状態に関連付けられる音を判断するように構成される。

【0018】

本発明の特定の態様によれば、検出および位置特定装置は、
− 楽器の横穴の閉鎖状態の配列を、すべての可能な配列の中で変化させることを含む第一の、学習段階を実行し、各配列について、前記少なくとも１つの受信信号の少なくとも１つの参照特性を記録し、
− 使用者が前記楽器を演奏中に、使用者が演奏する各音について、前記少なくとも１つの受信信号の、前記参照特性と同等の少なくとも１つの現在の特性を記録し、現在の特性を記録された参照特性のすべてと比較して、そこから演奏者が動かした楽器の穴の閉鎖配列を推定することを含む第二の、モニタ段階を実行する
ように構成される。

【0019】

特定の変形型によれば、本発明による電子システムは、弾性機械波動を発生させるための各装置と弾性機械波動を受け取るための各装置について、装置を管楽器の本体に取り外し可能に固定する手段を含む。

【0020】

本発明の特定の態様によれば、取り外し可能な固定手段は以下の手段、すなわち接着剤、クランプ、クリップ、磁石、リングから選択される。

【0021】

本発明の特定の態様によれば、弾性機械波動を発生させるための前記少なくとも１つの装置と弾性機械波動を受け取るための前記少なくとも１つの装置は、管楽器の取り外し可能な部分に位置付けられる。

【0022】

特定の変形型によれば、本発明による電子システムは、前記検出および位置特定装置を管楽器の気柱の内部に取り外し可能に固定する手段を含む。

【0023】

本発明の特定の態様によれば、前記検出および位置特定装置は、管楽器の取り外し可能な部分に位置付けられ、その内部は一部が中空で気柱を画定しており、前記検出および位置特定装置は気柱の中に位置付けられる。

【0024】

本発明の特定の態様によれば、楽器の取り外し可能な部分は、楽器の以下の取り外し可能な部分、すなわちネック、ベル、バレル、スモールバレル、マウスピースから選択される。

【0025】

本発明の特定の態様によれば、弾性機械波動を発生させるための装置は圧電アクチュエータであり、弾性機械波動を、その伝播後に受け取る装置は圧電受信器である。

【0026】

特定の変形型によれば、本発明による電子システムはまた、検出および位置特定装置に接続された、楽器の穴の検出された閉鎖配列に関連付けられる音を、その楽器の半音階タブ譜に応じて使用者に向けて再生するための音声合成装置も含む。

【0027】

本発明の他の主題は、横穴を有し、アコースティック音およびデジタル音を選択的に生成するように意図された管楽器であり、本発明による電子システムと組み合わされた、横穴を有する管楽器を含む。

【0028】

本発明の特定の態様によれば、前記楽器はサクソフォンまたはクラリネットまたはフルートまたはオーボエまたはバスーンである。

【0029】

本発明のその他の特徴と利点は下記のような添付の図面に関連する以下の説明を読むことによって、より明らかとなるであろう。

【図面の簡単な説明】

【0030】

【図1】先行技術の原理による、２つの弾性波発生器と１つの弾性波受信器を取り入れた触覚表面である。

【図2】電子装置に接続された、図１のシステムの発生器と受信器を示す略図である。

【図3】図１のガラスプレートの正面図であり、その上に参照接触点が示されている。

【図4】先行技術による学習方法のブロック図である。

【図5】先行技術によるモニタ方法のブロック図である。

【図6】モダンクラリネットの側面図である。

【図7】クラリネットの横穴の各種の閉鎖配列である。

【図8】クラリネットの横穴の各種の閉鎖配列である。

【図9】クラリネットの横穴の各種の閉鎖配列である。

【図10】クラリネットの横穴の各種の閉鎖配列である。

【図11】クラリネットの横穴の各種の閉鎖配列である。

【図12】クラリネットの横穴の各種の閉鎖配列である。

【図13】クラリネットの横穴の各種の閉鎖配列である。

【図14】クラリネットの半音階タブ譜の一例である。

【図15】クラリネットの取り外し可能なベルの一例である。

【図16】クラリネットの取り外し可能なベルの一例である。

【図17】サクソフォンの側面図である。

【図18】サクソフォン上での本発明によるシステムの可能な位置付けの一例の略図である。

【図19】クラリネットに関する本発明によるシステムの可能な構成の一例の略図である。

【発明を実施するための形態】

【0031】

本発明は、電子装置に接続された少なくとも１つの弾性波発生器と少なくとも１つの弾性波受信器から構成されるシステムを通じて媒質の擾乱を検出し、位置特定することを可能にする方法の、発明性のある新規な応用に基づいており、電子装置は、弾性波受信器により生成される信号を受け取り、分析して、そこから擾乱の位置を推定する。

【0032】

説明文において、以下、弾性機械波動という表現は、本発明によるシステムに適合する、弾性波がその一部を形成する波をより広く指定するために使用されている。

【0033】

弾性機械波動の発生器と受信器からの媒質の擾乱を位置特定する方法の一例は、仏国特許第２９６７７８８号として公開された本出願人の仏国特許と、それに対応する、第２０１３２３３０８０号として公開された米国特許出願に記載されている。これらの文献では、表面、例えばガラスまたはその他の材料からなる表面を、この表面の上に少なくとも１つの弾性波発生器と少なくとも１つの弾性波受信器を設置することにより、タッチセンサ式にするシステムと方法が記載されている。表面により形成される媒質内を伝播した波は受信器により受信され、これが受信された波の信号特性を生成する。受けった信号を分析することによって、この表面と指の接触による表面の変形によって生じる媒質の擾乱を検出することができる。それゆえ、この方法によって、タッチセンサ式とされた表面上の接触の位置特定が可能となる。

【0034】

本発明は、この原理を利用し、それを適応して、横穴を有する管楽器の穴の閉鎖状態を特定する。

【0035】

仏国特許第２９６７７８８号明細書および米国特許出願公開第２０１３２３３０８０号明細書に詳しく記載されている媒質の擾乱の位置を特定する方法をまず簡単に思い出す。当業者は、本発明を理解し、実施するために、これらの文献を参照できる。

【0036】

図１は、タッチ表面システムを示しており、これはガラスプレート１０２と、プレート１０２内に振動弾性波を発生させるための２つの装置３０４、３０６と、振動弾性波を受け取るための装置３０８と、を含む。３つの装置は、ガラスプレート１０２の下部２０４に、例えば接着剤またはその他の固定手段によって固定される。

【0037】

好ましくは、発生され、受け取られる弾性波は、ガラスプレート１０２の厚さと比較して大きい波長を示す屈曲波である。これらは、体積波である。これらの波からの音場のエネルギーは、ガラスプレート１０２の厚さ全体にわたって分散される。

【0038】

ガラスプレート１０２が均質で等方性である場合、システムは好ましくは、プレート１０２の２つの接触面上の接触を、発生装置３０４、３０６と受信装置３０８が固定されている接触面に関係なく見検出するように設計される。

【0039】

図２を参照すると、第一の発生装置３０４は圧電ディスク４０２（すなわち、圧電材料で製作される）を含み、その底面は、それによって第一の発生装置３０４がガラスプレート１０２に対して押し付けられる下側電極４０４により覆われている。誘電ディスク４０２はまた、上面も有し、これは４つの上側電極４０６Ａ、４０６Ｂ、および４０８Ａ、４０８Ｂにより覆われており、各々が上面のそれぞれ４分の１を覆う。説明されている例において、圧電ディスク４０２はその表面全体にわたって均一に分極される。第二の発生装置３０６は第一の発生装置と同じであり、同じように、その上面上の４つの上側電極４１２Ａ、４１２Ｂ、および４１４Ａ、４１４Ｂとその下面上の下側電極４１６が設けられた圧電ディスク４１０を含む。受信装置３０８は圧電ディスク４１８を含み、これはガラスプレート１０２に押し付けられる下側電極４２０により覆われた下面を有する。これはまた、上側電極４２２により覆われた上面も含む。タッチ表面システム１００はまた、発生装置３０４、３０６および受信措置３０８の電極に接続されたコンピューティングデバイス４２４も含む。より詳しくは、２つの発生装置３０４、３０６および受信装置３０８の下側電極４０４、４１６、４２０は、コンピューティングデバイス４２４のアースに接続される。さらに、コンピューティングデバイス４２４は、以下のコマンド信号、すなわち、２つの対向する電極４０６Ａ、４０６Ｂ間のｅ_１（ｔ）ともう一方の２つの対向する電極４０８Ａ、４０８Ｂ間のｅ_２（ｔ）を第一の発生装置に供給するように設計される。説明されている例において、２つの対向する電極はそれぞれ、相互に反対の２つの電位間、すなわち、−ｅ_１（ｔ）／２と＋ｅ_１（ｔ）／２間で分極され、もう一方の２つの対向する電極はそれぞれ、相互に反対の２つの電位、すなわち、−ｅ_２（ｔ）／２と＋ｅ_２（ｔ）／２間で分極する。

【0040】

受信装置３０８の上側電極４２２は、コンピューティングデバイス４２４に接続されて、受信装置３０８により受け取られた弾性波から受信信号ｒ（ｔ）をそこに供給する。

【0041】

コンピューティングデバイス４２４は、第一の発生装置３０４と同じ方法で第二の発生装置３０６にコマンド信号を供給するように設計されているため、以下では詳しく説明しない。

【0042】

コンピューティングデバイス４２４は、接触面１０４Ａ、１０４Ｂのうちの一方の接触を、受け取った振動弾性波、すなわち第一および第二の発生装置３０４、３０６により発せられ、ガラスプレート１０２の中を伝播した振動弾性波に対応する受信信号ｒ（ｔ）から検出し、位置特定するように設計される。

【0043】

このために、コンピューティングデバイス４２４は、以下に詳しく説明する動作を実行するように設計される。

【0044】

例えば、コンピューティングデバイス４２４は、これらの動作を実行するためのコンピュータプログラム（図示せず）の命令を実行するための処理ユニット（図示せず）を含む。

【0045】

変形型として、コンピューティングデバイス４２４は、同じ動作を実行するための電子回路（コンピュータプログラムを持たない）のみで構成される電子装置に置き換えることもできる。

【0046】

表面１０２上の接触を検出し、位置特定するために使用される方法を、引き続き仏国特許第２９６７７８８号明細書および米国特許出願公開第２０１３２３３０８０号明細書を参照しながら説明するが、読者はさらに詳しい点を知るにはこれを読むことができる。

【0047】

この方法は、学習方法とモニタ方法に分けられる。

【0048】

図３を参照すると、これらの方法は参照接触点Ｃ（ｉ，ｊ）を使用するが、ガラスプレート１０２の接触面１０４Ｂ上のその位置はコンピューティングデバイス４２４により把握されている。これらの参照接触点Ｃ（ｉ，ｊ）は、例えば、軸Ａ１およびＡ２による格子状に分散され、その中で数字（ｉ，ｊ）は格子内のそれらの位置を示す。

【0049】

これらの方法はまた、近傍関数Ｖ（Ｃ（ｉ，ｊ））を使って、ある参照接触点Ｃ（ｉ，ｊ）の近傍の参照接触点を判断できるようにする。例えば、図３に示されるように、参照接触点が長方形の格子にわたり分散されている場合、近傍の参照接触点は、その格子上で考慮されている参照接触点を取り囲む８つの接触点である（「第一のリング」）。

【0050】

さらに、これらの方法において、他の発生装置３０６を導入してもプレート内の音場全体の全体的表現が変わらないことを前提として、第一の発生装置３０４だけが検討される。一般に、使用される発生器と受信器の数はこれと異なっていてもよく、この方法は１つの発生器と１つの受信器でも動作できる。

【0051】

図４を参照すると、学習方法１６００はまず、ステップ１６０２を含み、ここではガラスプレート１０２に接触しない状態で、タッチ表面システムが無音環境に置かれる。

【0052】

この状態で、ステップ１６０４において、コンピューティングデバイス４２４は図３に示されているようなコマンド信号ｅ_１（ｔ）およびｅ_２（ｔ）を第一の発生装置３０４に供給し、後者はガラスプレート１０２内に弾性波を発生させる。

【0053】

それと同時に、ステップ１６０６で、受信装置３０８は弾性波を、それがガラスプレート１０２内を伝播した後に受け取り、受け取った弾性波に対応する、ｒ（ｔ）で示される無負荷信号をコンピューティングデバイス４２４に供給する。

【0054】

ステップ１６０８で、コンピューティングデバイス４２４は、無負荷受信信号ｒ（ｔ）のフーリエ変換の振幅を計算し、これは無負荷スペクトル振幅Ｒ（ｆ）＝｜ｆｆｔ（ｒ（ｔ））｜と呼ばれる。

【0055】

ステップ１６１０で、参照接触点Ｃ（ｉ，ｊ）が、依然として無音環境でガラスプレート１０２の接触面に適用される。

【0056】

ステップ１６１２で、参照接触点Ｃ（ｉ，ｊ）を適用した状態で、コンピューティングデバイス４２４はコマンド信号ｅ_１（ｔ）およびｅ_２（ｔ）を第一の放出装置３０４に供給する。

【0057】

ステップ１６１４で、第一の発生装置３０４はガラスプレート１０２ 内にコマンド信号ｅ_１（ｔ）およびｅ_２（ｔ）に対応する弾性波を発生させ、その一方で受信装置３０８は、ステップ１６１６で、音響信号をそれがガラスプレート１０２内を伝播した後に受信し、参照受信信号ｒ_ｉ，ｊ（ｔ）と呼ばれる、それに対応する受信信号をコンピューティングデバイス４２４に供給する。

【0058】

ステップ１６１８で、コンピューティングデバイスは、参照受信信号ｒ_ｉ，ｊ（ｔ）のフーリエ変換の振幅を計算し、これは参照スペクトル振幅Ｒ_ｉ，ｊ（ｆ）＝｜ｆｆｔ（ｒ_ｉ，ｊ（ｔ））｜と呼ばれる。

【0059】

ステップ１６２０で、コンピューティングデバイス４２４は、無負荷振幅と参照振幅との間の距離を計算し、これは参照スペクトル振幅距離ＤＮＲ_{（ｉ，ｊ）}と呼ばれる。例えば、参照スペクトル振幅距離ＤＮＲ_{（ｉ，ｊ）}は相対的正規化距離であり、例えば、無負荷スペクトル振幅Ｒ（ｆ）＝｜ｆｆｔ（ｒ（ｔ））｜と参照スペクトル振幅Ｒ_ｉ，ｊ（ｆ）＝｜ｆｆｔ（ｒ_ｉ，ｊ（ｔ））｜の変化率のノルム１と等しい：

【数1】

【0060】

方法１６００はその後、別の参照接触点Ｃ_{（ｉ，ｊ）}についてステップ１６１０に戻り、すべての参照接触点が走査されるまで続ける。

【0061】

わかるように、学習方法１６００はガラスプレートの２つの接触面の一方のみで行えばよく、それは、ガラスプレート１０２のそれぞれの側にある２つの対向する接触点がガラスプレート１０２の中を伝播する弾性波に及ぼす影響は同じであるからである。

【0062】

図５を参照すると、タッチ表面システムを使ったモニタ方法１７００はまず、初期化ステップ１７０２〜１７１２を含む。

【0063】

ステップ１７０２で、タッチ表面システムは、どこにも接触することなく、使用環境内に置かれ、その中には、ガラスプレート１０２を振動させ、したがって受信装置３０６により供給される受信信号の中にスブリアス信号を生成する残留ノイズが含まれ得る。残留ノイズはまた、処理用電子部品から、特に量子化ノイズから発せられることもありうる。

【0064】

ステップ１７０４で、コンピューティングデバイス４２４はコマンド信号ｅ_１（ｔ）およびｅ_２（ｔ）を第一の発生装置３０４に供給し、発生装置３０４は対応する弾性波をカラスプレート１０２の中に発生させる。

【0065】

それと同時に、ステップ１７０６で、受信装置３０８は音響信号を、それがガラスプレート１０２を伝播した後に受信し、受け取った弾性波に対応する、残留ノイズｒ_ＢＲ（ｔ）を有する受信信号と呼ばれる受信信号をコンピューティングデバイス４２４に供給する。

【0066】

ステップ１７０８で、コンピューティングデバイス４２４は、残留ノイズを有する受信信号ｒ_ＢＲ（ｔ）のフーリエ変換振幅を計算し、これは残留ノイズを有するスペクトル振幅Ｒ_ＢＲ（ｆ）＝｜ｆｆｔ_ＢＲ（ｒ（ｔ））｜と呼ばれる。

【0067】

ステップ１７１０で、コンピューティングデバイス４２４は、残留ノイズを有するスペクトル振幅Ｒ_ＢＲ（ｆ）および無負荷スペクトル振幅Ｒ（ｆ）から開始残留ノイズＢＲＤを計算する。例えば、開始残留ノイズＢＲＤは、残留ノイズを有するスペクトル振幅Ｒ_ＢＲ（ｆ）と無負荷スペクトル振幅Ｒ（ｆ）の変化率のノルム１である：

【数2】

【0068】

ステップ１７１２で、コンピューティングデバイス４２４は、現在の残留ノイズを表すデータＢＲを開始残留ノイズの値で初期化する。さらに、コンピューティングデバイス４２４は、反復カウンタｎを値１で初期化する。

【0069】

モニタ方法１７００は、次に、モニタステップ１７１４〜１７５０のモニタステッループを含み、このステップループの現在の反復処理番号は反復ｎである。

【0070】

ステップ１７１４で、コンピューティングデバイス４２４は、コマンド信号ｅ_１（ｔ）およびｅ_２（ｔ）を第一の発生装置３０４に供給し、発生装置３０４は、それに対応する弾性波をガラスプレート１０２内に発生させる。

【0071】

それと同時に、ステップ１７１６で、受信装置３０８は連続する弾性波をそれがガラスプレート１０２の中生を伝播した後に受け取り、受け取った弾性波に対応する受信信号をコンピューティングデバイス４２４に供給し、これは現在の受信信号ｒ_ｎ（ｔ）と呼ばれる。

【0072】

ステップ１７１８で、コンピューティングデバイス４２４は、現在の受信信号ｒ_ｎ（ｔ）のフーリエ変換の振幅を計算し、これは現在のスペクトル振幅Ｒ_ｎ（ｆ）＝｜ｆｆｔ（ｒ_ｎ（ｔ））｜と呼ばれる。

【0073】

ステップ１７２０で、コンピューティングデバイス４２４は、残留ノイズを有するスペクトル振幅Ｒ_ＢＲ（ｆ）と現在のスペクトル振幅Ｒ_ｎ（ｆ）から現在のスペクトル振幅距離ＤＮＲ，，を計算する。例えば、現在のスペクトル振幅距離ＤＮＲ，，は相対正規化距離であり、例えば、残留ノイズを有するスペクトル振幅Ｒ_ＢＲ（ｆ）と現在のスペクトル振幅Ｒ_ｎ（ｆ）の変化率のノルム１である：

【数3】

【0074】

ステップ１７２２で、コンピューティングデバイス４２４は、現在のスペクトル振幅距離ＤＮＲ，，から、および残留ノイズＢＲから現在の擾乱ＰＣ_ｎを計算する。例えば、現在の擾乱ＰＣｎは、現在のスペクトル振幅距離ＤＮＲ_ｎと残留ノイズＢＲとの間の変化率である：

【数4】

【0075】

ステップ１７２４で、コンピューティングデバイス４２４は、現在の擾乱ＰＣ_ｎが前回の反復処理実行時に関してわずかにドリフトしているか否かを判断し、これは残留ノイズの変化を示しており、接触を示しておらず、それは、後者によれば、現在の擾乱ＰＣ_ｎの変化がもっと大きくなるからである。この小さいドリフトは例えば、

【数5】

の場合にあると判定される。

【0076】

小さい現在の擾乱ドリフトＰＣ，，があると判定されると、ステップ１７２６〜１７３０が実行される。

【0077】

ステップ１７２６で、コンピューティングデバイス４２４は、残留ノイズを有するスペクトル振幅Ｒ_ＢＲ（ｆ）を現在のスペクトル振幅Ｒ_ｎ（ｆ）に更新する。

【0078】

ステップ１７２８で、コンピューティングデバイス４２４は、更新後の残留ノイズを有するスペクトル振幅Ｒ_ＢＲ（ｆ）から新しい残留ノイズＢＲを計算し、すなわち：

【数6】

である。

【0079】

ステップ１７３０で、コンピューティングデバイス４２４はｎを１ユニットだけ進め、方法はステップ１７１４および１７１６に戻る。

【0080】

小さい現在の擾乱ドリフトＰＣ_ｎがないと判定されると、ステップ１７３２で、コンピューティングデバイス４２４は、現在の擾乱ＰＣ_ｎが、例えば所定の閾値より高いか否かを判定し、これは接触の発生を示す。例えば、接触Ｃは、ＰＣ_ｎが１００％より大きいか、これと等しい場合に検出される。

【0081】

接触Ｃかが検出されると、ステップ１７３４で、コンピューティングデバイス４２４は、参照スペクトル振幅距離ＤＮＲ_{（ｉ，ｊ）}と現在のスペクトル振幅距離ＤＮＲ，，との偏差を計算する。説明されている例では、これらの偏差は、例えば残留ノイズのパーセンテージとして表現される相対正規化偏差である。引き続き、説明されている例では、これらの偏差はマトリクスＥＮＲＤ_ｎ（ｉ，ｊ）に入れられ、このマトリクスの各要素（ｉ，ｊ）は参照接触点Ｃ（ｉ，ｊ）に関する偏差に対応する：

【数7】

【0082】

ステップ１７３６で、コンピューティングデバイス４２４は、検出された接触Ｃに最も近い参照接触点Ｃ（ｉ，ｊ）を判断する。これは、マトリクスＥＮＲＤ_ｎ（ｉ，ｊ）の最小要素（すなわち、現在のスペクトル振幅距離ＤＮＲ_ｎに関する最小偏差を示す要素）に関連付けられる参照接触点である。この最小要素は、ＥＳ_ｎ＝ＥＮＲＤ（ｉ_ｎ，ｊ_ｎ）で示され、（ｉ_ｎ，ｊ_ｎ）はマトリクスＥＮＲＤ_ｎ（ｉ，ｊ）の中の、また参照接触点の格子の中のその位置である。

【0083】

コンピューティングデバイス４２４は、検出された接触Ｃの位置として、最も近い参照接触点（ｉ_ｎ，ｊ_ｎ）の位置を供給し、その後、方法１７００はステップ１７５０に進む。

【0084】

上述の技術は、管楽器の横穴の閉鎖状態の判断に応用されるように変更される。ここで、本発明の実施を可能にするのに必要なこの技術に対する適応について説明する。

【0085】

本発明の全体的原理は、弾性機械波動の発生器と受信器を、平面上ではなく、管楽器に設置することを含む。管楽器は、弾性機械波動について共鳴する中実物体である。弾性機械波動は楽器の本体の素材内を伝播し、ミュージシャンの、特定の横穴を閉じる動作が行われると、この動作により波動が伝播する媒質の擾乱が生じる。異なる音に関連付けられる横穴の各閉鎖状態によって、受信器が、それが受け取る波から生成する信号に異なる調記号が生成される。本発明は、この物理的効果を利用して、楽器の穴の異なる閉鎖状態を検出し、特定する。

【0086】

弾性機械波動の発生器と受信器は、圧電トランスデューサ、圧電パッド、または圧電セラミックから製作されるトランスデユーサの形態をとることができる。

【0087】

本発明は、１つの発生器、２つの発生器、または３つ以上の発生器で動作できる。

【0088】

同様に、本発明は、１つの受信器、２つの受信器、または３つ以上の受信器で動作できる。

【0089】

図４とそれに関する説明を参照すると、上述の学習方法が以下のように変更される。タッチ表面システムの代わりに管楽器が使用され、その上に少なくとも１つの発生器３０４、３０６と少なくとも１つの受信器３０８が固定され、これらはコンピュータデバイス４２４に連結される。学習方法のステップ１６０２、１６０４、１６０６、および１６０８は、発生器と受信器が設けられた楽器に適用される。

【0090】

学習方法のステップ１６１０〜１６２０はすると、参照接触点Ｃ（ｉ，ｊ）を楽器の横穴の閉鎖状態Ｅ（ｉ）に置き換え、この状態を標的の楽器およびその半音階タブ譜に依存するすべてのありうる状態にわたって変化させることによって実行される。様々なありうる閉鎖状態は説明文中の後段および図１４で説明する。より具体的には、ステップ１６１０で、閉鎖状態Ｅ（ｉ）は、楽器の横穴に適用され、すなわち、出しうるすべての音の中から１つの音が発せられる。その後、ステップ１６１２、１６１４、１６１８、および１６２０は、図４に関して上述したものと同じ方法で実行される。

【0091】

図５とそれに関連する段落において説明されているモニタ方法もまた、以下のように適応される。

【0092】

ステップ１７０２〜１７３０は、タッチ表面を、発生器と受容器が設けられた楽器に置き換えることによって上述の方法で実行される。

【0093】

ステップ１７３２は、ここでは、目的がもはや、ある表面上の接触Ｃを検出することではなくなり、楽器の状態がその非動作状態に関して変化したか否か、換言すれば、ミュージシャンの動作の後に少なくとも１つの横穴が閉じたか否かを検出するように適応される。

【0094】

ステップ１７３４は、学習方法により計算された、楽器の穴の様々な閉鎖配置に対応するスペクトル振幅距離ＤＮＲ（ｉ）と現在のスペクトル振幅距離との偏差が計算されるように適応される。

【0095】

ステップ１７３６で、ステップ１７３２で検出された状態に最も近い穴の閉鎖状態が最終的に判定される。

【0096】

穴の閉鎖状態が特定されると、それはその楽器の半音階タブ譜により１つの音に対応させられる。すると、この音が音声合成方法によってデジタル式に再生される。

【0097】

本発明の範囲から逸脱することなく、楽器の穴の閉鎖状態を、弾性機械波動の少なくとも１つの受信器により生成される信号から判断できるようにする方法を、以下の特許公報または特許出願、すなわち欧州特許第２１５０８８２号明細書、仏国特許第２９４８４７１号明細書、仏国特許第２９４８７８７号明細書に記載されているものと同じ原理に基づくその他の方法に置き換えることができる。

【0098】

当業者は、これらの異なる文献を参照することにより、弾性機械波動の１つまたは複数の受信器により生成される信号を処理する方法の、そこに記載されている変化型を実行できるであろう。

【0099】

要約すれば、欧州特許第２１５０８８２号明細書の文献には、タッチ表面上の接触を検出し、位置特定するための別の方法が記載されており、これもまた、表面上の異なる参照接触点に関連する調記号が記録される第一の、学習段階と、接触が、学習段階で記録された調記号と計算された調記号を比較することによって位置特定される第二の、モニタ段階に基づいている。この原理は、管楽器の穴の閉鎖状態の特定にも同様に応用可能である。

【0100】

同様に、仏国特許第２９４８４７１号明細書および仏国特許第２９４８７８７号明細書の文献もまた、２つの連続する段階での処理に関する。先行技術文献に記載されている３つの方法の各々は同じ原理に基づいているが、異なるメトリクスを計算して受信器（複数の場合もある）により生成される信号を解析し、学習段階で記録された調記号とモニタ段階中に計算された調記号の比較を行うことを提案している。

【0101】

一般に、本発明は管楽器の横穴の閉鎖状態を検出し、特定する方法を実行するものであり、
− 楽器の穴のある閉鎖状態が考えうるあらゆる状態からアクティベートされ、弾性機械波動が楽器の中で、楽器上にある少なくとも１つの発生点から伝播させられ、弾性機械波動が楽器に帰属する少なくとも１つの受信点において抽出され、抽出された信号の特定の特性がライブラリに保存される第一の、学習段階であって、その半音階タブ譜に対応する楽器の穴の閉鎖状態のすべてについて反復されるような第一の段階と、
− 演奏者が楽器の穴の閉鎖状態をアクティベートして、対応する音を生成させ、少なくとも１つの発生点と少なくとも１つの受信点との間で伝達される弾性機械波動が再び抽出され、抽出された信号の特定の特性がライブラリ内の対応する特性と比較されて、そこからアクティベートされた穴の閉鎖状態を推定し、その後、そこから対応する音が推定される第二の、検出段階と、
を含む。

【0102】

選択した方法に応じて、使用される信号の特性は、抽出された受信信号に対する離散フーリエ変換の計算より得られる参照スペクトル振幅もしくは周波数ベクトル、またはさらには信号の振幅と位相に依存するメトリック、例えば吸収ベクトル、またはさらには楽器本体の表面の振動の基本モードの周波数とすることができる。

【0103】

ここで、本発明の応用を、２つの楽器の例、すなわちクラリネットとサクソフォンについて説明する。これらの例は一切限定するものではなく、当業者であれば、ここでそれらに応用されると説明されている原理は横穴を有する他の管楽器にも容易に拡張できるであろう。特に、本発明による電子システムの考えうる各種の配置が説明されており、これは弾性機械波動を発生させるための少なくとも１つの装置と、弾性機械波動を受け取るための少なくとも１つの装置と、受信装置（複数の場合もある）から供給された信号から上述の各種の方法のうちの１つを実行するように構成されたコンピューティングデバイスと、から構成される。

【0104】

図６は、モダンクラリネット６００を側面図で示しており、これは、横穴が設けられた管状本体６０１と、マウスピース６１０と、バレル６１１と、ベル６１４と、で構成される。本体上に、キー６１２、６１３の集合が位置付けられ、これらは片側では左手で、反対側では右手で操作できる。キーという用語はここでは、パッドに連結されたリング上でのミュージシャンの動作を通じて穴を閉じることができるようにする機械的要素を指すために使用されている。相互に連結されたキーの集合は、連結キーセットを構成する。図６は、左手用の連結キーセット６１２と右手用の連結キーセット６１３を示している。

【0105】

横穴は、指で直接、またはキーの一部を形成するパッドによって閉じることができる。パッドは、他の穴の上に位置付けられるリングに連結される。それゆえ、リング上での指の動作によって、そのリングに関連付けられたパッドを通じて他の穴を閉じることができる。

【0106】

図７は、クラリネットのうち、キー７０１により操作されるパッド７００により穴が閉じられている部分を示している。

【0107】

図８は、開いているキーの位置を示し、図９は、閉じている同じキーの位置を示す。パッド８００が穴８０１の上に位置付けられて、それを閉じる。

【0108】

図１０および１１は、指で穴１０００を閉じる例を示している。

【0109】

最後に、図１２および１３は、リング１２０１上での指の動作によって穴１２００を閉じる例を示しており、それによって他の穴が閉じられる。

【0110】

図１４は、クラリネットの半音階タブ譜の一例を示す。１つまたは複数の穴の閉鎖の各組合せが１つの音に対応する。

【0111】

本発明によるシステムは、楽器がアコースティックモードとデジタルモードで交互に動作できるように、取り外し可能に設計しなければならない。

【0112】

そのために、本発明によるシステムの発生器（複数の場合もある）と受信器（複数の場合もある）は、楽器の何れの部分にも、例えば本体６０１、マウスピース６１０、バレル６１１、またはベル６１４に固定でき、取り外し可能な固定手段により固定され、これは接着剤、クランプ、クリップ、磁石、リング、楽器の気柱内への圧入、または発生器と受信器を容易に位置付け、取り外すことのできるその他のあらゆる装置とすることができる。

【0113】

本発明の別の実施形態によれば、発生器と受信器は、楽器の取り外し可能な部分に位置付けることができる。この変形型は、発生器と受信器が固定される取り外し可能な部分を取り外して、それを、楽器をアコースティックモードで動作させることのできる、変更されていない、それに対応する部分に取り換えることが可能であるという利点を提供する。

【0114】

例えば、クラリネットの場合、取り外し可能な部分はマウスピース、バレル、またはベルとすることができる。図１５および１６は、取り外し可能なベル５００の一例を示しており、そこに弾性機械波動の受信器５０１が固定される。同様に、弾性機械波動の発生器（図示せず）もその取り外し可能なベルに固定できる。図１５は、取り外された位置にあるベルを示している。図１６は、楽器本体に部分的に嵌め込まれた位置にあるベルを示す。

【0115】

図１７は、本発明によるシステムと適合する別の管楽器の例であるサクソフォンを側面図で示す。

【0116】

サクソフォン１８００は、以下の要素、すなわちリード１８０１と、マウスピース１８０２と、リガチャ１８０３と、オクターブキー１８０４と、ネック１８０５と、ネック締め付けねじ１８０６と、左手用連結キーセット１８０７と、右手用連結キーセット１８０８と、ベル１８０９と、ベルブレース１８１０と、キーガード１８１１と、ブリーチ１８１２と、から構成される。サクソフォンは、一方の端でネック１８０５に接続され、他方の端でベル１８０９に接続された管状本体１８２０を含む。

【0117】

クラリネットの場合に関して、本発明によるシステムの発生器と受信器は、前述の取り外し可能な固定手段を通じてサクソフォンの何れの部分にも位置付けることができる。

【0118】

図１８は、いくつかの発生器Ｅ_１、Ｅ_２、Ｅ_Ｎの、およびいくつかの受信器Ｒ_１、Ｒ_Ｎの位置付けの例を示している。この例において、発生器と受信器は好ましくは、ネック１８０５の表面またはベル１８０９の中に位置付けられるが、これらは楽器本体に直接固定することもできる。楽器上の発生器と受信器の数と位置は、できるだけ非干渉的に、使用者にとってなるべく煩わしくないように選択される。サクソフォンのネックとベルはそれゆえ、これらの部分がミュージシャンの指と相互作用しないため、好ましい。

【0119】

本発明の別の実施形態によれば、本発明によるシステムの発信器と受信器はまた、サクソフォンの取り外し可能な部分に固定することもできる。この取り外し可能な部分は、サクソフォン上で一般に本来取り外し可能なネック１８０５またはマウスピース１８０２とすることができる。

【0120】

本発明によるシステムはまた、図２の説明で述べたように、弾性機械波動の発生器と受信器の電極に接続され、図４において説明した学習方法と図５において説明したモニタ方法を、これらの方法を楽器の穴の閉鎖状態の検出に適応させるために上述の変更を加えたうえで実行するように構成されたコンピューティングデバイスも含む。

【0121】

コンピューティングデバイスは、楽器をアコースティックモードで動作できるようにするために、取り外し可能でなければならない。このために、コンピューティングデバイスは、取り外し可能な固定手段、例えば接着剤、クランプ、クリップ、磁石、リング、楽器の気柱内への圧入、またはその他のあらゆる取り外し可能な機械的連結手段を通じて楽器に固定できる。楽器の外観を変えないように、コンピューティングデバイスは、楽器の気柱の内側に、例えば楽器本体の内側または、ベル、マウスピース、ネック、またはスモールバレル等、楽器の別の部分の内側に固定することもできる。

【0122】

楽器がサクソフォンの場合、コンピューティングデバイスは、ベル１８０９の内側に埋め込むことのできる筐体を介して固定できる。

【0123】

別の実施形態において、コンピューティングデバイスはまた、発生器と受信器の位置決めに関して既に説明したように、楽器の取り外し可能な部分に固定できる。何れの場合においても、コンピューティングデバイスをその部分の内側に、それが楽器の気柱の中にあることになるような位置に選択される。取り外し可能な部分は、以下の部分、すなわち楽器のネック、ベル、バレル、スモールバレル、またはマウスピースのうちの１つとすることができる。

【0124】

図１９は、クラリネットの場合の、本発明による電子システムの１つの考えられる実施例を示している。

【0125】

図１９の左側部分は、アコースティック演奏用の構成のクラリネット１９００、すなわちオリジナルのクラリネットを示す。

【0126】

図１９の右側部分には、楽器の２つの取り外し可能に部分、すなわちマウスピース１９０１とベル１９０２が特定されている。これら２つの部分は、楽器をデジタルモードで構成するために取り外すことができる。そのために、当初のマウスピース１９０１を本発明による変更したマウスピース１９１１に取り換えることができる。変更したマウスピース１９１１は、上で説明したように、超音波機械波動の発生器と受信器のいくつかを含むことができる。同様に、当初のベル１９０２を本発明による変更されたベル１９１２に取り換えることができ。変更されたベル１９１２も、弾性機械波動の１つまたは複数の発生器および／またはそれに関連する１つまたは複数の受信器を内蔵できる。変更されたベル１９１２は、発信器と受信器に連結されて、楽器の穴の閉鎖状態を検出し、特定する方法を実行する、気柱内に固定されたコンピューティングデバイスまたは電子機器を含む。

【0127】

変更されたマウスピース１９１１は、変更されたベル１９１２に組み込まれたコンピューティングデバイスに連結でき、演奏者の吹奏を検出するための装置を含む。このようにして、音のデジタル再生を演奏者の吹奏に同期させることが可能である。

【0128】

本発明によるコンピューティングデバイスは、検出された穴の閉鎖状態に関連付けられる音をコンピュータに供給する。このコンピュータは音声合成方法を実行して、ヘッドセット１９１５によって使用者に対して音をデジタル式に再生するする。コンピュータは、他のコンピュータ１９１３もしくはスマートフォン１９１４、またはこれらと同等の他の何れの電子機器に埋め込むこともできる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】