IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ オーディオ インベンションズ リミテッドの特許一覧

特許7568717楽器の演奏により発せられる音を識別するためのシステム
<>
  • 特許-楽器の演奏により発せられる音を識別するためのシステム 図1
  • 特許-楽器の演奏により発せられる音を識別するためのシステム 図2
  • 特許-楽器の演奏により発せられる音を識別するためのシステム 図3
  • 特許-楽器の演奏により発せられる音を識別するためのシステム 図4
  • 特許-楽器の演奏により発せられる音を識別するためのシステム 図5
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-10-07
(45)【発行日】2024-10-16
(54)【発明の名称】楽器の演奏により発せられる音を識別するためのシステム
(51)【国際特許分類】
   G10G 1/00 20060101AFI20241008BHJP
   G10D 7/00 20060101ALI20241008BHJP
【FI】
G10G1/00
G10D7/00
【請求項の数】 16
(21)【出願番号】P 2022521141
(86)(22)【出願日】2020-10-09
(65)【公表番号】
(43)【公表日】2022-12-09
(86)【国際出願番号】 GB2020052517
(87)【国際公開番号】W WO2021069916
(87)【国際公開日】2021-04-15
【審査請求日】2023-10-05
(31)【優先権主張番号】1914588.7
(32)【優先日】2019-10-09
(33)【優先権主張国・地域又は機関】GB
(73)【特許権者】
【識別番号】518024666
【氏名又は名称】オーディオ インベンションズ リミテッド
(74)【代理人】
【識別番号】100135389
【弁理士】
【氏名又は名称】臼井 尚
(74)【代理人】
【識別番号】100086380
【弁理士】
【氏名又は名称】吉田 稔
(74)【代理人】
【識別番号】100103078
【弁理士】
【氏名又は名称】田中 達也
(74)【代理人】
【識別番号】100130650
【弁理士】
【氏名又は名称】鈴木 泰光
(74)【代理人】
【識別番号】100168099
【弁理士】
【氏名又は名称】鈴木 伸太郎
(74)【代理人】
【識別番号】100168044
【弁理士】
【氏名又は名称】小淵 景太
(74)【代理人】
【識別番号】100200609
【弁理士】
【氏名又は名称】齊藤 智和
(74)【代理人】
【識別番号】100217467
【弁理士】
【氏名又は名称】鶴崎 一磨
(72)【発明者】
【氏名】スミス、ブライアン
(72)【発明者】
【氏名】デイヴィー、ポール
【審査官】大野 弘
(56)【参考文献】
【文献】特開平03-020793(JP,A)
【文献】国際公開第2019/073674(WO,A1)
【文献】特開2010-204664(JP,A)
【文献】国際公開第2018/138504(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G10G 1/00-7/02
G10D 7/00
(57)【特許請求の範囲】
【請求項1】
共鳴空洞を有する管楽器の演奏により発せられる音を識別するためのシステムであって、前記共鳴空洞は、前記管楽器の演奏者によって選択可能な複数の状態を有するものであり、前記管楽器は、前記共鳴空洞に導電性の表面を有するものであり、当該システムは、
励振信号を生成するための励振信号生成部と、
前記管楽器に取り付け可能であって、前記励振信号を電磁信号として前記共鳴空洞に放出し、前記共鳴空洞から反射電磁信号を受信するためのアンテナ手段と、
前記反射電磁信号を処理し、当該処理により、前記演奏者によって選択された前記共鳴空洞の状態を特定する電子処理部と、を備え、前記共鳴空洞の状態は、前記受信された反射信号の時点で前記管楽器が演奏されることによって出力された音、又は、出力されるであろう音を示すものである、システム。
【請求項2】
前記放出される励振信号は、無線周波数信号である、請求項1に記載のシステム。
【請求項3】
前記アンテナ手段は、単一のアンテナを含む、請求項1又は2に記載のシステム。
【請求項4】
前記アンテナは、前記管楽器のマウスピースに代えて前記管楽器に取り付け可能なエンドキャップに設けられている、請求項3に記載のシステム。
【請求項5】
前記共鳴空洞の開放端の開口に跨るようにして前記管楽器に取り付け可能な導電性反射器を備える、請求項1~4のいずれかに記載のシステム。
【請求項6】
前記共鳴空洞の開放端の開口に跨るようにして前記管楽器に取り付け可能な導電性反射器を備え、前記アンテナ手段は、前記管楽器のマウスピース用端部に取り付け可能な第1アンテナと、前記導電性反射器に取り付けられた第2アンテナと、を含む、請求項1~4のいずれかに記載のシステム。
【請求項7】
前記アンテナ手段は、複数のプローブアンテナを含む、請求項1又は2に記載のシステム。
【請求項8】
前記複数のプローブアンテナは、前記共鳴空洞に直交する平面の周りに配置されている、請求項7に記載のシステム。
【請求項9】
前記複数のプローブアンテナは、複数の直交プローブを有するマイクロストリップ回路に設けられている、請求項8に記載のシステム。
【請求項10】
トレーニングモードで動作可能であって、当該トレーニングモードにおいて、前記アンテナ手段によって電磁信号として放出される前記励振信号は、前記管楽器によって演奏される異なる音に対応付けられた前記管楽器の異なる運指状態のそれぞれについて別々に放出され、それぞれについて受信された前記反射電磁信号又は当該信号から前記電子処理部によって導出された信号が前記電子処理部のメモリに別々に格納される、請求項1~9のいずれかに記載のシステム。
【請求項11】
演奏音認識モードで動作可能であって、当該演奏音認識モードにおいて、前記電子処理部は、前記受信された反射電磁信号又は当該信号から前記電子処理部によって導出された信号を、前記電子処理部のメモリに格納された信号と比較し、前記格納された信号のうち最もよく一致する信号を特定し、当該最もよく一致する信号を用いて、前記受信された反射信号の時点で前記管楽器が演奏されることによって出力された、又は、出力されるであろう音を特定する、請求項7に記載のシステム。
【請求項12】
前記励振信号生成部は、前記システムの動作中に時間間隔をおいて複数の励振信号を生成し、前記電子処理部は、前記音の特定に用いられるデータフレームを、各励振信号に対応する反射電磁信号から導出する、請求項1~11のいずれかに記載のシステム。
【請求項13】
前記電子処理部は、前記受信された反射電磁信号から音を特定するために用いられた演奏音信号を合成する合成部と、前記合成された音をスピーカ又はヘッドフォンに出力する出力手段と、を含む、請求項1~12のいずれかに記載のシステム。
【請求項14】
前記励振信号生成部は、周波数が約24GHzの励振信号を生成するよう構成されている、請求項1~13のいずれかに記載のシステム。
【請求項15】
前記アンテナ手段は、円偏波された電磁信号を生成するよう構成されている、請求項1~14のいずれかに記載のシステム。
【請求項16】
前記アンテナ手段は、直線偏波された電磁信号を生成するよう構成されている、請求項1~14のいずれかに記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、楽器の演奏により発せられる音を識別する(identification of a note)ためのシステムに関する。
【背景技術】
【0002】
木管リード楽器の演奏により発せられる音を音響識別によって特定する技術は、既にGB1513036号公報に開示されている。しかしながら、リード木管族楽器のうちでも大型の楽器は、音響波が低いため、より低い周波数で励振してより長いフレームを解析する必要があるので、音高の識別が困難である。
【0003】
さらに、スピーカを用いて楽器に励振信号(stimulus signal)を入力し、当該楽器の伝達関数(transfer function)によって変調された励振信号を、マイクを用いて受信して演奏された音高を識別する場合、上述の演奏音識別の方法では、音響干渉の影響を免れないという技術的な課題がある。これは、そのような方法が演奏目的には使用できないことを意味する。
【発明の概要】
【0004】
本発明は、請求項1に記載の、楽器の演奏により発せられる音を識別するためのシステムを提供する。
【0005】
本発明では、楽器に電磁信号を送信し、検出した反射波に基づいて当該楽器の共鳴空洞の状態を特定する。共鳴空洞の状態には、共鳴空洞における開口の状態、共鳴空洞におけるバルブ位置の状態、共鳴空洞の長さの他、楽器の演奏者が意図する演奏音の発生に影響する共鳴空洞の特性のうちの1つ又は複数が含まれる。
【0006】
本願請求項に記載の発明によるシステムは、導電性の表面を有する楽器に使用して、音響干渉に一切影響されることなく楽器の演奏音をリアルタイムに識別することができるシステムを提供する。導電性の表面を有する楽器としては、サキソフォン、ラッパ類(labrasones)(金管楽器)、エッジブロー気鳴楽器(フルート)、及び金属製のクラリネットが挙げられる。加えて、伝統的に木製の楽器も、内側にコーティングを施して導電性の表面を形成すれば、本発明を適用することができる。本発明を適用する楽器としては、金属製のキーキャップを有する楽器が理想的であるが、演奏者が指で音孔を塞いで空気の流れを妨げることで反射信号に生じる変化も、十分に測定可能であることが証明されている。本発明は、様々な形状のボア(bore)を有する楽器に広く適用可能であり、例えば、円錐形のボアを有する楽器(サキソフォン族)、及び円筒形のボアを有する楽器(エッジブロー気鳴楽器族(例えばフルート)、及びラッパ類(例えば金管楽器))に適用可能である。
【0007】
本発明の好ましい実施形態について、以下の添付図面を参照して説明する。
【図面の簡単な説明】
【0008】
図1】本発明のシステムによる簡易なプローブ導波管アンテナを備えるサキソフォンを示す図である。
図2】本発明のシステムにおける、電磁反射を改善するための導電性平面反射器を図1のサキソフォンのベルに取り付けた状態を示す図である。
図3図1に示すサキソフォンに用いられた本発明のシステムの電子処理部を示す概略図である。
図4図2に示す反射器を取り付けたサキソフォンに用いられた本発明のシステムの電子処理部を示す概略図である。
図5】本発明のシステムをテナーサキソフォンに用いた場合の、13.3GHz~13.8GHzの周波数範囲の反射波の大きさを示すグラフである。
【発明を実施するための形態】
【0009】
本発明は、電磁スペクトルに含まれる信号を利用するものであって、電磁スペクトルのうち高い周波数(無線周波数)領域については、交流の波動性を考慮する必要があることが認識されている。
【0010】
本発明は、例えばテナーサキソフォン10(図1及び図2を参照)のように、本体が金属製(即ち導電性)の楽器を漏洩導波管として、つまり、金属製(即ち導電性)のキーパッドで閉塞可能な孔を有する導波管として扱う。既に知られているように、導波管は、損失が最も少なくなるように無線周波数の電磁波を閉じ込めて伝送するように設計可能である。
【0011】
本発明のシステムは、アンテナ11を含み、当該アンテナは、楽器10の共鳴空洞に電波を送出することで、通常の演奏による音響波長に類似する電磁波長で共鳴する電磁共鳴空洞を形成することができる。
【0012】
サキソフォン族の楽器は、円錐形のボアを有し、(他の楽器と比較して)入口寸法が相対的に小さい。例えば、テナーサキソフォンの場合、湾曲部につながるボア入口の大きさは、直径約15mmである。円形導波管においてTE01波が維持される最も低い「遮断」周波数は、以下のように定義される。
【0013】
円形導波管の管内波長は、
【数1】
で与えられ、式中
【数2】
は、導波管内部が損失のない誘電体であるときの一様平面波の波長を表す。
【0014】
よって、TE01モードの遮断周波数は、11.72GHzである(ただし、サキソフォンのボアは円錐形であるため、これは、正確な数字ではない)。しかしながら、遮断周波数を上回る波でないと導波管で維持されないという本発明の認識においては、この数字で十分である。TE01(横波)モードとは、すべての電界成分が波の進行方向に垂直であって、波の進行方向の電界成分が存在しないことを意味する。
【0015】
以下に図3図4、及び図5を参照して説明する実施態様は、13GHzの励起周波数(excitation frequency)で動作するものとする。ただし、本発明で使用可能な周波数は、これに限定されるものではない。導波管で維持可能であれば、他の周波数の波も適切に使用可能である。例えば、24GHzの励起周波数も適切に使用可能である。そのような周波数は、いわゆるISMバンドと呼ばれる、通信を除く、工業(Industrial)、科学(Scientific)、医療(Medical)の使用目的で国際的に確保された無線周波数帯に含まれる周波数の一例である。ただし、ISMバンド内又は外の他の周波数にも、適切に使用可能なものがある。
【0016】
さらに、励起電磁放射は、偏波されていてもよい。例えば、アンテナは、円偏波の電磁信号を生成するものでもよい。或いは、アンテナは、直線偏波の信号を生成するものでもよい。或いは、アンテナは、非偏波の信号を生成するものでもよい。
【0017】
本発明のアンテナ11は、例えば、短絡バックストップ(shorted back-stop)を備える単一プローブアンテナであり、図1に示すような楽器10の共鳴空洞に無線周波数の電磁信号を放出するために設けられる。このアンテナは、送信機及び受信機の両方として機能する。アンテナ11は、マウスピースの代わりに楽器10に取り付け可能なエンドキャップ15に設けることができる。エンドキャップ15は、一端が閉塞しており、マウスピース取付用の楽器端部を封止する。当該エンドキャップは金属製であり、金属製の楽器、又は、楽器の金属表面に導通する。例えば、楽器が金管楽器であれば、エンドキャップ15も真鍮製でもよい。アンテナ11の導電性部分は、エンドキャップ15から電気的に分離すべく、絶縁体に取り付けられる。
【0018】
代替的な例では、複数のプローブを有するアンテナを使用することも可能であり、これら複数のプローブは、典型的には、楽器の共鳴空洞を形成するボアに直交する平面の周りに等間隔で設けられる。このような構成は、マイクロストリップ回路に4つの直交プローブを設けることで(或いは、任意の数のプローブを、共鳴空洞の長手軸に対して直角な面で見て等しい分離角で共鳴空洞の周りに配置することで)、容易に実装可能である。短絡バックストップ体と楽器との間に良好なオーミック接続を確立することは重要であるので、必要であれば、バックストップ体を楽器のボアの内表面にバネ接続させる。
【0019】
サキソフォンは、大きく広がる円錐形のボアを有しており、入口部分では、半径約15mm(テナーサキソフォン)のボアが、ベル部では140mmに達する。維持可能な波長は、ボアの半径に正比例する。音響波の場合と同様に、無線周波数波は、ベルの開口部が自由空間に開放されてインピーダンスが不連続となる位置において反射される。反射エネルギーは、図2に示すように楽器10のベル端部13に導電性の平面反射器12を取り付けることで、増幅することができる。
【0020】
本発明のシステムは、正確に繰り返し可能な周波数範囲で楽器のボアを励振し、その反射波を監視することに基づくシステムである。励振周波数は、連続的に走査してもよいし、繰り返し可能な周波数で反射波が測定されるように段階的に走査してもよい。一定の周波数範囲の反射エネルギーを測定することにより、対象とする周波数毎にデータポイントを有するデータ「フレーム」が生成される。プログラム可能なネットワーク分析器(例えば、キーサイト(Keysight)5225B(登録商標)アナライザ)を用いれば、数ミリ秒(ms)につき1600ポイントの走査を実行することができる。本発明のシステムが用いる実用的な態様では、10msにつき数百個のポイントという十分な数のデータを生成することができる。
【0021】
本システムによる励振波形は、以下の手法の一方又は両方によって生成される。
1)図3に示すように、局部発振器20の出力信号を、周波数が可変の電圧制御発振器(VCO:voltage controlled oscillator)40の走査波形とミキシングし、その出力をフィルタリングすることで、送出する単側波帯信号が生成される。
2)直接デジタル合成することで生成される。
【0022】
図3及び図4は、本発明の電子処理部の2つの異なる実施形態を示す概略図である。いずれの実施形態も、発振器20、VCO40、及びミキサ21を有する。VCO40は、電圧を入力することで振動数を制御可能な電子発振器である。入力電圧によって、出力振動数が決まる。VCO40は、デジタル-アナログ変換器28から直流の「走査電圧」信号を受信し、これにより、VCO40の出力が制御される。デジタル-アナログ変換器28は、後述するように、マイクロプロセッサ27によって制御される。ミキサ21から出力された信号は、高域フィルタ23を通過し、これによりアンテナ11から放出される励振信号が得られる。
【0023】
したがって、励振波形として、伝統的な「チャープ(chirp)」波形に類似し、周波数が滑らかに変化するか、或いは段階的に変化する波形を送出することができる。例えば、マイクロプロセッサ27は、デジタル-アナログ変換器28への出力を制御することで放出周波数を段階的に変化させることができる。つまり、マイクロプロセッサ27には、直近に放出された周波数が分かっているので、連続して放出すべき次の周波数も分かる。直接合成する場合の波形は、走査周波数の範囲、又は、応答の差分が最大となるように選択された特定の周波数に基づいて、線形的に変化させるか、或いは、指数関数的に変化させるか選択される。
【0024】
アンテナ11から送出された励振波形が楽器10に入力されると、その時点で閉塞されている音孔に依存する反射波によって入力波形が変化する。
【0025】
図3では、反射波が方向性結合器24(例えば、ナルダ(Narda、登録商標)4016-D、12.4GHz~18.0GHz)に通過することで、当該反射波を表す信号が生成される。結合器24をピーク検出ダイオード25(例えば、キーサイト(登録商標)88290-600445、2GHz~18GHz)に接続すれば、反射波形の瞬間ピークを表すベースバンド信号をマイクロプロセッサ27に供給することができる。ピーク検出ダイオードのベースバンド信号の直流レベルは、分析波形が走査されたときの反射波の大きさを表す。このような回路は、プリント回路基板に設けられたマイクロストリップとして好適に実装することができる。
【0026】
反射波の振幅及び/又は位相は、他の標準的なマイクロ波回路によって測定することも可能であり、例えば、ホモダイン方式の循環ミキサ(homodyne circulatory mixer)に、入力信号として分析波形及び反射波形を供給することによって測定することも可能である。
【0027】
図4は、楽器10のベル端部13に配置された反射器12に隣接して「反射プローブ」30(受信アンテナ)を配置した構成を示す。図4に示すように、このプローブによって、伝送測定(transmission measurement)が行われ、円錐空洞における信号が検出される(この実施形態においては、アンテナ11は、励起信号の送出のみに用いられ、反射信号の受信には用いられない。反射信号の受信には、プローブ30のみが用いられる)。反射プローブ30からの信号は、必要に応じて増幅され(図示せず)、検出器25によって測定され、図4に示す様に、ピーク検出ダイオード25からマイクロプロセッサ27まで順に渡されて処理される。
【0028】
図3及び図4に示すシステムでは、いずれも、ダイオード25からの出力信号がアナログ-デジタル変換器26でデジタル信号に変換され、当該デジタル信号がマイクロプロセッサ27に入力される。
【0029】
さらに、図3図4の形態を組み合わせて、両方のプローブからの信号を測定するような構成も可能である。
【0030】
本システムの実施に際しては、最初に、システムをトレーニングモードで動作させるトレーニング段階が行われる。トレーニングモードでは、認識することが望ましいすべての音(outcome)が生成され、各音についてデータフレームが取得され、マイクロプロセッサ27のメモリに格納される。取得されたデータフレームは、例えば、マイクロプロセッサ27によってデジタル化され、各音を表すデータとしてメモリに書き込まれる。つまり、トレーニング段階は、各楽器について行われ、当該楽器によって各音が少なくとも一度演奏され、当該演奏音に対応する振幅及び周波数スペクトルを本システムによって捕捉する。例として、テナーサキソフォンの演奏音D3及びA3について測定されたスペクトルを図5に示す。
【0031】
トレーニング段階が終了したら、楽器が通常通り演奏される際に、本システムを演奏音認識モードで動作させる。演奏音認識モードでは、生のデータフレームが取得され、マイクロプロセッサ27によって、当該データフレームが、トレーニングモードにおいてメモリに収集されたデータフレームと比較される。トレーニングモードのデータのうち、最もよく一致するデータが、「演奏された」音高を特定するために用いられる。一致の度合いは、様々な統計的手法を用いて特定することができる。この信号処理及び照合処理は、処理能力にもよるが、典型的には10msで完了する。
【0032】
本システムでは、演奏された音が特定されると、同システムの合成部(図示せず)を用いて、検出された音を合成及び出力して、例えば、ヘッドフォンに送信することができる。これにより、演奏者は、待ち時間が最長の場合でも、指位置を変更してから典型的には20ms以内に、合成された音を聴くことができる。
【0033】
本システムは、演奏者の呼気圧を測定する圧力センサ(図示せず)を組み合わせてもよい。これにより、本システムは、圧力センサによって生成される圧力信号を参照して、合成音の生成開始のタイミング、及び/又は、その音量を制御することができるので、リアルな演奏体験を提供することができる。圧力センサは、交換用マウスピースに組み込んでもよく、或いは、当該楽器の通常のマウスピースに代えて使用可能なエンドキャップ15に一体化又は取り付け可能な構成でもよい。交換用マウスピースは、楽器を演奏する演奏者の息を当該交換用マウスピースに設けられた出口から導く通路を備える構成でもよい。或いは、エンドキャップ15は、息を通過させるための小開口を有し、この小開口にチューブを接続することで、演奏者の息が楽器を通過して、楽器の吹き出し口又はその先に位置する、当該チューブの端部に導かれる構成でもよい。本発明のシステムを気鳴楽器又はラッパに用いる場合、例えば、PCT出願のWO2018/138504号A1公報、及び、WO2018/138591号A3公報に開示されている呼気センサ(breath sensor)又は唇振動センサを、本システムに組み合わせてもよい。これらの呼気センサ又は唇振動センサからの信号は、マイクロプロセッサ27に送られて、合成音の生成開始のタイミング及び/又はその音量を制御するために使用される。呼気センサが例えばフルートについて用いられる場合、呼気センサは、呼気の方向及び速度を示す信号をマイクロプロセッサ27に送出することができ、マイクロプロセッサは、これらの信号を用いて、例えば、合成すべき音高の正しいオクターブや音域を選択することができる。
【0034】
本システムは、(音響波ではなく)電磁波を送出及び測定するので、音響干渉の影響を受けないという顕著な利点を有する。本発明のシステムを取り付けた楽器は、適切な増幅処理を行えば、他の楽器との合奏、又は独奏を含め、演奏目的に使用することができる。
【0035】
波形解析に必要な電力は、典型的には0dBm(1mW)と極めて小さく、電磁波に関する国際安全規格の範囲内である。また、本システムは、全体を電池式とすることが可能であり、例えば、電池を楽器のベルに収納することも可能である。また、出先で演奏するような場合には、電力増幅器及びスピーカ(loudspeaker)も、楽器のベルに収納することが可能である。或いは、大勢の聴衆に対して演奏する場合は、例えばブルートゥース(登録商標)などのデジタル無線接続によって、楽器を外部の合成器/増幅器/スピーカ機器設備に接続することが可能である。
【0036】
本システムの合成部は、他の種類の楽器の演奏音を合成する合成信号を選択するように、ユーザによって制御可能な音韻合成アルゴリズムを実行可能な構成でもよい。これにより、例えば、熟練したサックス演奏者がサキソフォンで演奏した音を、ピアノで演奏されたように聞こえる音としてヘッドフォンやスピーカから出力することが可能になる。
【0037】
上述の記載では、本システムをサキソフォンに用いる場合について説明した。サキソフォンは、金属製のキーキャップを有しており、演奏者は、これらのキーキャップを運指操作することで共鳴空洞に間隔をおいて設けられた孔を開閉する。この楽器では、金属製のキーキャップの位置が共鳴空洞における電磁波の伝達関数に大きく影響するので、本発明を適用する楽器として理想的である。しかしながら、共鳴空洞における電磁波の伝達関数は、演奏者の運指操作によって音孔を開閉するだけでもある程度変化するので、本発明のシステムは、指で塞ぐリング/音孔と金属製キャップの両方を含む金属製のフルート及びクラリネットにも使用可能である。また、伝統的に木製の楽器であっても、共鳴空洞を形成する表面に金属コーティングを施せば、本発明のシステムを使用することができる。なお、楽器によっては、孔が設けられておらず、バルブを使って管の長さを変化させる楽器(例えば、トランペットなどのラッパ類)や、スライド管を使って共鳴空洞の長さを変化させる楽器(例えば、トロンボーンなどのラッパ類)もあるが、そのような楽器における共鳴空洞の変化も、本発明のシステムによって検出可能であり、よって、そのような楽器にも本発明のシステムを使用することができる。
図1
図2
図3
図4
図5