特許 7319689 音響ホログラフィック録音およびメタマテリアル層を使用する再生システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-07-25

(45)【発行日】2023-08-02

(54)【発明の名称】音響ホログラフィック録音およびメタマテリアル層を使用する再生システム

(51)【国際特許分類】

   H04R 23/00 20060101AFI20230726BHJP

【ＦＩ】

H04R23/00 320

H04R23/00 310

【請求項の数】 18

(21)【出願番号】P 2020522327

(86)(22)【出願日】2018-11-01

(65)【公表番号】

(43)【公表日】2021-01-21

(86)【国際出願番号】 US2018058616

(87)【国際公開番号】W WO2019089873

(87)【国際公開日】2019-05-09

【審査請求日】2021-11-01

(31)【優先権主張番号】15/801,942

(32)【優先日】2017-11-02

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】520133097

【氏名又は名称】アコースティックス ブイアール インコーポレイテッド

【氏名又は名称原語表記】ＡＣＯＵＳＴＩＸ ＶＲ ＩＮＣ．

(74)【代理人】

【識別番号】100110788

【弁理士】

【氏名又は名称】椿 豊

(72)【発明者】

【氏名】マートゥル， ゴパール， プラサド

【審査官】大石 剛

(56)【参考文献】

【文献】特表２０１７－５０６７６８（ＪＰ，Ａ）

【文献】特開２０１１－２２３５３７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｒ ２３／００

(57)【特許請求の範囲】

【請求項1】

三次元的に録音して再生する方法であり、
離散的チャネルに配列された複数の共振器で反射および/または屈折された後にマイクロフォンで受信するステップと、
デジタル圧縮技術を音に適応した後にマイクロフォンにより出力された音を保存するステップと、
少なくとも一部でも、マイクロフォンまでの離散的チャネルのそれぞれと音響の少なくとも一部の周波数の決定された位相シフトとの間の距離に基づき、複数のピエゾドライバを振動させ、このピエゾドライバは複数の共振器で反射または屈折された音響の指向性を少なくとも一部再生する方法で音響メタ材料を通して振動を送るステップとを含む、方法。

【請求項2】

マイクロフォンはモノラルでも、無指向性でもよく、離散的チャネルのそれぞれから均等に音を受信するように較正される、請求項1に記載の方法。

【請求項3】

共振器のそれぞれは異なる周波数で共振して、共振器はマイクロフォンの音声入力終了直前に円形状に個別のチャンネルにて擬似ランダムに配列される、請求項2に記載の方法。

【請求項4】

擬似ランダムに配列された共振器が輪状で離散的チャネルに配列されるが、離散的チャネルは離散的チャネルの2つのチャネルの間にある非共振材料で互いに分離されている、請求項3に記載の方法。

【請求項5】

さらに離散的チャネルそれぞれと、マイクロフォンおよび決定された位相シフトとの間の距離に基づき、複数のピエゾドライバが音響メタ材料を振動させる前に音が出てきた方向を決定する、請求項1に記載の方法。

【請求項6】

複数のピエゾドライバが複数の共振器の配置との対応が無い状態で音響再生デバイス上の中心点の周囲に等間隔で置かれる、請求項1に記載の方法。

【請求項7】

複数のピエゾドライバのそれぞれが、複数のピエゾドライバから発生した音波を増幅する単一の音響再生デバイスに取り付けられる、請求項6に記載の方法。

【請求項8】

ホログラフィックサウンドの録音および生み出す方法であって、
複数の共振器で反射または屈折された音響をマイクロフォンで受信するステップを含み、複数の共振器のそれぞれは2台のマイクロフォンに対応し、
2台のマイクロフォンについて、音に関連している音響ホログラフィックデータを得るために、またデジタル圧縮技術を出力に適応した後に出力された音を保存するステップと、
マイクロフォンの対応する１つに対する複数の共振器の各共振器と、対応するマイクロフォンでの出力での少なくとも幾つかの周波数の決定された位相シフトとの間の距離に基づき、ピエゾドライバが複数の共振器で反射された音響の指向性を少なくとも一部再生するやり方で、また再生された音響の位置と方向が検出可能な方法で、音響再生デバイス上に装着された複数のピエゾドライバを振動させるステップとをさらに含む、方法。

【請求項9】

マイクロフォンはモノラルでも、無指向性でもよく、2台のマイクロフォンのそれぞれに対応する複数の共振器のそれぞれから均等に音を受信するように較正される、請求項8に記載の方法。

【請求項10】

複数のピエゾドライバが中心点から等間隔で置かれたピエゾドライバの第1セットと、音響再生デバイス上の第2の中心点から等間隔で置かれたピエゾドライバの第2セットを含み、また第1セットと第2セット出力のそれぞれは2台のマイクロフォンの別の1台から音響を再生する、請求項8に記載の方法。

【請求項11】

三次元的に録音して再生するデバイスであって、
それぞれが異なる周波数で共振し、実質的に円形状に配列される複数の共振器と、
三次元平面の少なくとも1つの平面上の複数の共振器の間に位置するマイクロフォンと、
マイクロフォンからの出力に圧縮センシングを適応して音響が圧縮された形で保存する有形的表現記憶媒体と、
音響再生デバイス上の中心点から等間隔で配列された複数のピエゾドライバであって、マイクロフォンからの出力を非圧縮された形を音響出力の少なくとも一部の決定された位相シフトとの間の距離に基づき複数のピエゾドライバの特定のピエゾドライバに出力再生する複数のピエゾドライバとを含む、デバイス。

【請求項12】

マイクロフォンにより録音された音響の指向性は音響再生デバイスに取り付けられた音響メタ材料層を通して振動を起こすピエゾドライバにより再生される、請求項11に記載のデバイス。

【請求項13】

マイクロフォンおよび追加的マイクロフォンがバイノーラルまたはステレオで録音し、複数のピエゾドライバと追加的な複数のピエゾドライバによる再生により、マイクロフォンと追加的マイクロフォンとで音響の位置の検出が可能になり、複数のピエゾドライバと追加的なピエゾドライバにて三次元空間で聴覚的に決定する複数の共振器、マイクロフォン、複数のピエゾドライバの追加的、実質的に同一なセットを含む、請求項11に記載のデバイス。

【請求項14】

複数のピエゾドライバがピエゾドライバの音響を増幅する単一の音響再生デバイスにそれぞれ取り付けられる、請求項11に記載のデバイス。

【請求項15】

ピエゾドライバの間隔が複数の共振器/離散的チャネルの間隔とは対応しない、請求項14に記載のデバイス。

【請求項16】

複数の共振器が擬似ランダムに実質的に円形状に配列される、請求項11に記載のデバイス。

【請求項17】

複数の共振器が円形配列内にて複数の等間隔にされた非共振材料により分岐される、請求項16に記載のデバイス。

【請求項18】

マイクロフォンはモノラルであり、記憶媒体は受信された音響を圧縮された形でデータの単一のチャネルにおいて保存する、請求項11に記載のデバイス。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は一般的に音の録音および再生に、特にホログラフィー的な音の録音および再生に関する。

【背景技術】

【0002】

基礎的な音響録音と再生技術とは至る所にあり、人々の日々の生活の中に取り入れられている。これらは例えばスタジオ、コンサートホールなどでの音楽レコーディングと、その後のホームエンターテイメントシステム、電話通信/オフィスコミュニケーション、場内アナウンス設備などでの録音と再生で広範な分野に係る。最終的な目的は生み出された音を忠実に再生することである。つまり振幅、周波数内容、奥行き感覚、空間的位置など種々の要素において音源が録音されたのと同じ音場にすることを意図している。

【0003】

近年、この領域において仮想ビデオ/音響記録と再生に向けて取り組みが為されている。仮想ビデオレコーディングと再生とは、現実の世界の残響空間でのアコースティックなコンサート/パフォーマンスのレコーディングと、仮想聴覚環境（VAE）として知られ、演じられたパフォーマンス空間に対する仮想バージョンでのその後の許容できる再生を言う。聴覚シーンは2つの主要なメカニズム、つまりレコーディングと可聴化（オーラリゼーション）を使用して生み出せる。最初のアプローチにおいてシーン合成（scene synthesis）のレコーディングは通常、スタジオ環境で行われる。例えばポピュラー音楽のプロダクションでは楽器の音が時間的に、分光的に、空間的に積層されるマルチトラックな方法で実施する。別の実施例は音響効果技師（Foley artists）が日常音に人の動作に同期した音を加えて聴覚シーンを生み出す映画である。第2のアプローチにおいて可聴化を使う聴覚シーンの制作は現実の部屋で取られるか、または可聴化ソフトウエアで計算された音響応答を用いて録音済みオーディオ（好ましくは無響の）処理を行う。我々を新たな現実に持ってゆく仮想現実とは異なって、ホログラムおよびホログラフィックサウンドは我々「自身の現実」に、幾つかの3次元イメージを生み出す音である。このことからホログラフィーおよびホログラフィックサウンドは脳で生み出した三次元サウンド処理技術（ホログラム）として定義され、開示技術の実施態様にあるように空間の同じ場所から生み出されている2つの音であっても脳が音の指向性音源を検出して、発生した音からの異なる方向を決定できるようになる。その結果、仮想現実はコンピュータが生み出した現実である。拡張現実はより拡張されている仮想現実である。ホログラフィーはヒトが動き回れる「映像」（オーディオシーンまたは「映像」を含む）の見せ方である。今日では仮想ホログラフィックビデオ装置が広く行き渡っているが、仮想音響ホログラフィック録音と再生装置は本出願時点では、また初歩的段階である。

【0004】

ホログラフィーの詳しく説明としては波動場の完全な情報を記録し、再構成する技術である。用語「ホロ‐グラフィー」はホログラムに含まれる大量の情報をも記述する、すべてを含む図という意味のギリシャ語に由来する言葉である。ホログラフィーの基礎は適切なコヒーレント光源により照らされる時に波面が干渉により再構成され、所望される波面に関するフェーズおよび/または振幅プロファイルの空間貯蔵である。光学ホログラムは仮想現実ディスプレイ、データ蓄積、センシング、セキュリティ印刷などの広い分野で応用されている。

【0005】

他方、音響ホログラムは本出願の観点では、それらの電磁対応と比べると相対的に進んでいない。1つの主要な制約要因は天然または伝統的な材料が提供する限定的な音響特性である。音響ホログラフィーは音波が有形の媒体に録音され、プロセッサーを使用して三次元で配列または再生される過程である。音場をモデル化して三次元（3D）画像を使用した構造の再構成をする。音響ホログラムであれば別の技術を用いて作られた音場よりも約100倍繊細な3D音場を作成できる。これまで大多数の音響ホログラフィック再構成技術は数多くの能動素子をもつフェイズドアレイによって為されたが、これは非常に複雑な移相回路、大量の電力消費、注意深いキャリブレーションおよび同調を必要とする。音響ホログラフィーに含まれている測定技術は種々の分野で多くの支持を得ている。最もよく知られた技術は近接場音響ホログラフィー（NAH）に基づいている。近接場音響ホログラフィーは圧力および/または粒子速度トランスデューサのアレイを使うことで、音源から離れた音響パラメータを測定して音源近くの音を推定する方法である。近接場音響ホログラフィーは音源と測定面との間の三次元音場の再構成を可能にする。

【0006】

ホログラフィック技術は三次元容積内において複雑な光または音場の空間制御が要求される立体ディスプレイ、高密度データ蓄積、光ピンセットなどの応用には必須である。非常に多くの音場再生方法が、例えばアンビソニックス（Ambisonics）、波動場合成（Wave Field Synthesis）、逆問題のソリューションに基づく方法、別の技術などが提案されている。最近になり、NAH（近接場音響ホログラフィー）もホログラフィックシステム用に検討されている。NAHの最大の利点は音圧、粒子速度、音強度などの全ての音響量の再構成が可能で、つまり目標音源表面の近接場における音圧を測定することで測定位置だけでなく、3D空間とか、音源表面上において可能である。NAHシステムは複数のマイクロフォンの球形アレイ、各マイクロフォンからの圧力データをデジタル化するアナログーデジタル変換器、各位置での音強度を測定するプロセッサー、圧力と速度に関する球面波方程式に正則化フィルターを適用するために対応させるプロセッサーを含む。全体としてNAHには51台のマイクロフォンと51台のスピーカーの規模での、多数の録音および再生センサーが必要となる。多重トランスデューサおよびシステム複雑性が必要となるのでNAHのアプローチは大きな欠点がある。加えて音響ホログラフィーはNyquistサンプリング定理により、さらに制限される。空間エイリアシング問題を避けるにはアレイマイクロフォン間隔は音響波長の半分を超えてはならない。また得られたNyquist速度はかなり高いので大量のサンプルを使用しなければならない。大量のハードウエア（スピーカー、マイクロフォン）と大量の処理の組み合わせのおかげで、費用がけた違いに高くなり実施困難である。

【0007】

別のより簡単な方法はバイノーラル（双耳）音に限定される。音響は圧力と変位の可聴な機械的波動として空気や水などの媒体を通じて伝搬される振動である。ヒトが聴こえる条件として音に対する、このような波の受信と、脳による波の知覚である。昔の研究者は正しい聴覚には一方の耳のみでも為せるとしていたが、現在では両方の耳がバイノーラル（双耳）聴には不可欠であると証明され、全世界的な理解となっている。事実、用語「バイノーラル（双耳）」とは文字通りには両耳を使うという意味である。脳の聴覚システムはバイノーラルであり、この方法は低周波音に対する相対位相シフト、音声領域での音に対する相対強度、高速立ち上がり時間と高周波構成成分とを有する音に対する到達の相対的時間を含む。バイノーラル録音は聞き手が演奏者または楽器がある「部屋に」実際に居るように三次元のステレオ感が生み出されるように配列された、2台のマイクロフォンを使って音を録音する方法である。一般的にバイノーラル音は聞き手の耳の位置にあるように間隔があけられ、また場合によっては「Kunstkopf」（ダミーヘッド）を使って外耳道がある場所に設置して、2台のマイクロフォンを使用して録音される。結果として再生用の上質のヘッドホンの使用時には、録音された空間にいるような現実感があり、空間にある楽器または音声の動きを鋭く感じて、時には聞き手の上側または背後から聞くようである。しかしヘッドホンによる音の再生は、しばしば頭の中の位置感覚（in-head localization）につながることがあり、空間手がかり（spatial cues）に関する良好な評価が困難になる。

【0008】

他方、スピーカー再生を意図した標準的な混合およびパンド（mixed and panned）型のマイクロフォンスタジオ録音は、各楽器に個別のマイクロフォンを付けて使用することが多くあり、また人工イメージにおいて中心には音声、ドラムなどを設置して、更に左右に別の楽器を移動させて、左端から右端まで位置までミキシングコンソール上でパン（panned）される。この録音をヒトがヘッドホンを使って聴くと録音の原空間ではなく、頭の中央にイメージが出来上がる。この「頭の中」の知覚を補うために、長年にわたり数多くのヘッドホンとオーディオプロセッサー設計が試させてきた。バイノーラル録音が高品質の音をヘッドホンで再生する一方で、一般的にスタジオ用スピーカーでは複数のトラックから混合された録音がスピーカーで再生され、高品質の音を出している。

【0009】

ヒトの聴覚は三次元である。ヒトは音源方向と、ある程度までであるが、その距離を区別できる。事実、ヒトの耳に達する音と、この音情報を高度に処理するヒトの脳に関して豊かな情報がある。内耳の蝸牛、そして実際全ての耳は音を神経信号に変換して脳に音情報を送るように設計されている。内耳の蝸牛は聴覚路における最も重要な構造であり、これにより音響的に作成された圧力波からのエネルギーが神経インパルスに変換される。蝸牛は音波を増幅して神経信号に変換するだけでなく、機械的な周波数分析器として機能することで複雑な音響波形をより簡単な要素に分解する。ヒトの蝸牛は周波数と強度の両方に関して音の分析が並外れている。蝸牛は20Hz～2000Hz（ほぼ10オクターブ）の間の音を分解能1/230オクターブ（3Hz～1000Hz）で聴覚する。 1000 Hzでは、蝸牛は0 dB SPL (2 x 10^-5 Pa)と120 dB SPL (20 Pa)との間の音圧をコード化する。

【0010】

蝸牛は内耳内に位置する油圧機械式の周波数分析器である。この主要な役割は空間周波数マップの生成において音響信号のリアルタイムなスペクトル分解の実施である。蝸牛は周波数‐空間変換を使ってオーディオ分光分析を行う。音響信号が液体で満たされた蝸牛へ衝突すると基底膜は、音の周波数で振動運動をするので遠位末端に向かって伝搬する波になる。波は基底膜の長さ方向に沿って空間的に閉じ込められ、その最大振幅の位置は音の周波数に関連する。周波数が高いほど近位端に対する擾乱がより限定される。内耳内での周波数分析に対する理解は3つの主要な期間を経て進行してきた。第1期は蝸牛において軽い減衰を伴い、空間秩序化した機械的共振の要素が分光分析を行うとしたヘルムホルツの提案によって占められた。1940年代後半から1970年代前半の第2期はvon Bekesyによる進行波に関する言説によって占められた。注目すべき第3期には根本的に異なったパラダイムが出現した。このパラダイムによればvon Bekesyによる進行波は感覚細胞群の1つ、つまり外有毛細胞はセンサーおよび機械的フィードバック要素の両方として機能する局所的な電気機械的増幅過程によって高められた。この発見は蝸牛の周波数選択性の説明に役立つ。Bekesyの観察とJohnstonの観察との間の違いは、生きた被験者における基底膜の振動に作用する活性生物学的メカニズムに基づく。

【0011】

蝸牛の中で基底膜はチャンネルの形状に制約されながら、液体と相互作用することで機械的な進行波を支持する伝送線を作る。この伝送線に沿った位置は蝸牛の機能に関する古いヘルムホルツ共鳴の展望に類似する異なる周波数応答の進行にともなって大量の出力に対応する。

【0012】

純音周波数音について能動的メカニクスは、蝸牛の感受性を増加することを目的とするコルチ（corti）器管の非常に狭い断面において約＋50ｄB程度、基底膜振動を増幅させる。このことから2つの類似した周波数は2つの異なる蝸牛野を活性化できて、これらを分化させる（周波数選択性として知られる特徴）。この周波数同調は外有毛細胞（OHC）の電気運動性に密接に関連しており、聴覚神経の線維と神経信号を作成する内有毛細胞（IHC）により定義される。

【0013】

蝸牛の最も重要な非線形挙動の1つは高サウンドレベル圧縮である。低強度での音響信号は蝸牛が大きな利得を示す場所の一定の蝸牛位置で周波数選択的に増幅される一方、蝸牛が小さな利得を示す場所で高レベル音響信号はほとんど増幅されない。聴覚系は場所説と連動したリアルタイムなスペクトル分解の独特な方法を使って、リアルタイムでの処理能力を維持しながら印象的な可聴範囲を達成する。このことは効率的にデータを送る圧縮技術の使用に加えて、油圧機械式の周波数分析器としての作動で達成される。基底膜の想像をかき立てる機能性はリアルタイムなスペクトル分解を実行する能力である。基底膜のサブセクションの活性化は入力信号の内容に基づき、変動振幅および位相の正弦振動を起こす。このことから内耳内で周波数を位置付ける変換が起こる。このメカニズムは耳の周波数判別における基本である。最大振幅の基底膜上の位置は下に記載の式により記述される

【0014】

【数1】

【0015】

ここで

【0016】

f: 周波数（単位：Hz）

【0017】

x: 基底膜の最大エクスカーション（excursion）の位置（単位：ｍｍ）。

【0018】

従ってヒトの耳蝸牛システムの周波数依存性フィルタリング機構は分散音響メタ材料（AMM）システムを使用する空間周波数依存性設計へと導く。その意味で基底膜は畳込んだ信号（convoluted signal）を、その周波構成成分に同時分解する帯域通過フィルターのバンク（bank）と比較されることが多い。現代の数多くの音響技術者は基底膜の最も現実的なモデルは共振器システムであると、さらに好ましくは中枢神経系により制御できる周波数同調オシレーターのシステムであると考えている（遠心性フィードバックとして知られる）。

【0019】

音楽音響信号は音楽が作成される過程により、大量の基礎構造を含む。通常、ヒト聴覚は音響信号の構造を非常に良く分析し、聴覚情景分析として知られる過程である。音楽において音楽音響信号が如何なる時でも数の少ない利用可能な音符から作成されることが驚きにあたらず、よってスパース表現が可能である。圧縮センシング（CS）は多くの線形、非適応測定を使用した信号の表現を求める。一般的に信号がNyquist速度でサンプリングされる場合には、測定数はサンプル数よりもはるかに少ない。原信号を正しく再構成するためにCSは、ある基底ではスパースであり、つまり少数の基底関数の線形結合であるという意味である。明らかに音響信号の正弦波的にモデル化部分はスパース信号であるので、そのような信号をCSの使用でコード化するのは自然である。その普遍性と抑えられた複雑性により、CSはマルチセンサシステム用の魅力的な圧縮技術である。近年、マルチメディアコード化標準に使用された既存の圧縮技術よりも、さらに高い圧縮比率を達成する目的で音響信号のスパース性が探求された。

【0020】

インピーダンス整合表面では、入射波は反射しない特性が知られている。深サブ波長スケールの完全な音響吸収体は化学的に、また技術的に興味深い。これは時間反転波技術にとって重要な意味を持っており、点源の厳密な時間反転対応部分として作用する。音響吸収の伝統的手段は多孔質および繊維質材料と、屈折率分布材料との利用または、パネルの裏に同調空洞深さが有る細孔板または微細孔板の使用である。一般的に、これらを使う場合には入射波に対するインピーダンス整合が不完全になるか、または波長と同程度の寸法の嵩高い構造になる。他方、能動「吸収体」は高価で複雑な電気的設計が要求される。近年、電磁波について見ると2つの異なる材料間のインターフェイス構造化は位相不連続性、異常屈折/反射、偏光操作などの多様な機能性のあるメタ表面に進展することが示された。音響メタ材料ベースシステムでは少ない数のセンサーで録音できるだけでなく、少ない数のスピーカーで再生可能である。音響メタ材料と圧縮センシング、異なる音源からのオーバーラップする音を同時に分離する少ない数のセンサーでのホログラフィック録音デバイス、ホログラフィックサウンドを再生できるスピーカーアレイなどの探求により、完全仮想音響ホログラフィックシステムが設計および提案される。異方性音響メタ材料の設計はメタ材料において圧力場を直接増幅させる、強い波圧縮効果を有する。

【発明の概要】

【発明が解決しようとする課題】

【0021】

このことから必要なものは当業者に周知の方法よりも安い費用で、高品質なホログラフィックサウンドを正確に再生する方法である。

【課題を解決するための手段】

【0022】

開示技術の概要

【0023】

本明細書はホログラフ的に、または三次元的に録音して再生する方法と、それを実行するデバイスに関して開示する。三次元的な録音と再生、またはホログラフィックサウンドは健康なヒトが音の出た方向を検出でき、さらには360度面周囲の如何なる方向から出た別の音から方向を区別できる音として定義される。このことは離散的チャネルに配列された複数の共振器で反射および/または屈折された後にマイクロフォンで受信する本開示技術の実施態様で達成される。本開示技術の実施態様における共振器は特定の周波数を振動させて増幅する音響共振器である。ここで「特定の周波数」は実施態様により1ヘルツ（Hz）、5Hz、10Hz、または20Hzである。正確な共振の周波数において特定の共振器は別の周波数と比較して最も強く反響する。

【0024】

マイクロフォンにより出力された音（つまり振動により作られ、マイクロフォンで受信した音波）はデジタル圧縮技術を音に適応した後に録音される。デジタル圧縮技術に関する詳しい説明は下に記載される。

【0025】

少なくとも一部でも、マイクロフォンまでの離散的チャネルのそれぞれと、音響の少なくとも一部の周波数の決定された位相シフトとの間の距離に基づき（それぞれの共振器からマイクロフォンまでの（周知）距離により）複数のピエゾドライバ（piezo-drivers）が振動する。ピエゾドライバは電気的インパルスを機械的インパルスまたは振動に変換するデバイスである。このピエゾドライバは複数の共振器で反射または屈折された音響の指向性を少なくとも一部再生の方法で音響メタ材料を通して振動を送る。音の方向が中心点の周囲の正しい方向に音響を出すことができるようにピエゾドライバと付随するメタ材料は中心点から等間隔に設置され、メタ材料が配列されるデバイスの形状は六角形、八角形など（例えば10、12、14、16側面）であり得る。

【0026】

音の録音に使用するマイクロフォンはモノラルでも、無指向性でもよく、離散的チャネルのそれぞれから略均等に音を受信するように較正される。共振器のそれぞれは異なる周波数で共振して、共振器はマイクロフォンの音声入力終了直前に円形状に擬似ランダムに配列される。言い換えればマイクロフォンは第1の方向を指し、また共振器の円形配置は いくつかの実施態様においてマイクロフォンの先端からマイクロフォン全面を通って外側に伸びる想像上の線を中心として、マイクロフォンが指し示す方向の前にある。擬似ランダムに配列された共振器は輪状で離散的チャネルに配列されるが、離散的チャネルは離散的チャネルの2つのチャネルの間にある非共振材料で互いに分離される。言い換えれば非共振材料の層の間の共振器は単一のチャネルを形成する。円形または正多角形断面形状の周囲には共振器と非共振材料とが交互にあり、非共振材料の層の間には複数の共振器が異なる周波数で共振するように設計されている。

【0027】

本開示技術の実施態様において離散的チャネルそれぞれと、マイクロフォンおよび決定された位相シフトとの間の距離に基づき、音が出てきた方向は決定される。次に、この決定は複数のピエゾドライバが音響メタ材料を振動させるのに使用される。結果として出力/再生デバイスの周囲の位置に基づき、正しいピエゾドライバは振動するので、音響は三次元空間に適正配向に出力される このことは、それぞれの（ピエゾドライバの振動増幅の結果として）容積を経由した複数のピエゾドライバから発生した音でも起こり、そして発生した音の方角からの容積に対応すると理解されるべきである。同様にして音が出力用に使用された2つのメタ材料の位置の間の三次元空間の位置から発生した時は、その間、およびその他の方向からの音の再生には、それぞれの材料の振動は僅かである。

【0028】

いくつかの実施態様においては、複数のピエゾドライバは複数の共振器の配置との対応が無い状態で音響再生デバイス上の中心点の周囲に等間隔で置かれる。例えば、あり得る状態としては32個の離散的チャネルが録音デバイスに使用されるが、12側面の再生デバイスは1台、15側面再生デバイスは1台である。いくつかの実施態様において複数のピエゾドライバのそれぞれは、複数のピエゾドライバから発生した音波を増幅する単一の音響再生デバイスに取り付けられる。

【0029】

上の記載は単一のマイクロフォンを使用して単一の場所での単一のモノラル録音を参照して説明する。これはまた上の記載の2セットのデバイスを使用して実施できる。これは1台の録音デバイスと、それぞれの耳に1台の再生デバイスの使用、またはステレオ音響の録音と再生として当業者に周知の使用と類似する。従って、このような実施態様において2台のマイクロフォンを使用する。次に音響は複数の共振器で反射または屈折され、複数の共振器のそれぞれは2台のマイクロフォンに対応する。複数の共振器のそれぞれは円形状に各マイクロフォンの前面に配置される。2台のマイクロフォンについては出力にデジタル圧縮技術を適用した後に、上に記載の実施態様で説明したようにデータは保存され、再生する（保存されたデータの検索を基にして同時に、または後になって）。ここで、それぞれの再生デバイスをヒトのそれぞれの耳の近くに設置して左右のオーディオを形成するが、それぞれが左右のオーディオに対してホログラフィックサウンドを発生させる。

【0030】

上に記載の実施態様において各マイクロフォンはモノラルでも、無指向性でもよく、2台のマイクロフォンのそれぞれに対応する特定の複数の共振器の各共振器から略均等に音を受信するように較正される。再生デバイスにおいても、幾つかのかかる実施態様における中心点から等間隔で置かれたピエゾドライバの第1セットと、音響再生デバイス上の第2の中心点から等間隔で置かれたピエゾドライバの第2セットがある。第1セットと第2セット出力のそれぞれは2台のマイクロフォンの別の1台から音響を再生する。

【0031】

言い換えれば、それぞれが異なる周波数で共振する複数の共振器は実質的に円形状に配列される。マイクロフォンは三次元平面の少なくとも1つの平面上の複数の共振器の間に位置する。有形的表現記憶媒体はマイクロフォンからの出力をデジタル形式の、圧縮された形で保存する。音響再生デバイス上の中心点から等間隔で配列された複数のピエゾドライバは、マイクロフォンからの出力を非圧縮された形を音響出力（または音響の入力、録音された音響など）の少なくとも一部の決定された位相シフトとの間の距離に基づき複数のピエゾドライバの特定のピエゾドライバに出力再生する。

【0032】

マイクロフォンにより録音された音響の指向性は音響再生デバイスに取り付けられた音響メタ材料層を通して振動を起こすピエゾドライバにより再生される。複数の共振器、マイクロフォン、複数のピエゾドライバの追加的で実質的に同一なセットが使用でき、バイノーラルおよび/またはステレオ音響を作る第1のセットと併せて音響を再生する。複数のピエゾドライバと追加的な複数のピエゾドライバとの再生により、マイクロフォンと追加的マイクロフォンとで音響の位置の検出が可能になり、複数のピエゾドライバと追加的なピエゾドライバとに対する三次元空間で聴覚的に決定される。

【0033】

複数のピエゾドライバは本開示技術の実施態様におけるピエゾドライバの音響を増幅する単一の音響再生デバイスにそれぞれ取り付けられる。ピエゾドライバの間隔（互いに相対して）は本開示技術の実施態様における複数の共振器/離散的チャネルの間隔（互いに相対して）とは対応はない。本開示技術の実施態様において複数の共振器は擬似ランダムに実質的に円形状に配列される。本開示技術の実施態様において複数の共振器は、本開示の技術の実施態様における円形配列内にて複数の等間隔にされた非共振材料により分岐される。本開示技術の実施態様において個別の、または唯一の使用されたマイクロフォンはモノラルであり、記憶媒体は受信された音響を圧縮された形でデータの単一のチャネルにおいて保存する。

【0034】

別段の指示がない限り、本明細書の目的において「実質的に」および「実質的に示す」は「少なくとも90％」として定義される。デバイスは請求の範囲により限定され、本明細書に記載のデバイスを含むかまたはからなる。

【0035】

「および/または」が使用された場合には用語「aおよび/またはb」は「aおよびb」、「aまたはb」、「a」、「b」などを含めたものとして包含的に定義されると理解されるべきである。

【図面の簡単な説明】

【0036】

【図1】図1は本開示技術の実施態様において使用されるモノラル録音デバイスの透視図を示す。

【図2】図2は本開示技術の実施態様において使用されるモノラル録音デバイスの平面図を示す。

【図3】図3は本開示技術の実施態様における収音または録音デバイスの設計概略図を示す。

【図4】図4は図3に対して90度回転させた図3の収音または録音デバイスの断面を示す。

【図5】図5は本開示技術の実施態様を使用して録音されたホログラフィックサウンドの発生に使用される再生デバイスを示す。

【図6】図6は本開示技術の実施態様の録音デバイスの第1の略図を示す。

【図7】図7は本開示技術の実施態様の録音デバイスの第2の略図を示す。

【図8】図8は本開示技術の方法を実行するのに必要なステップの概念的な流れ図を示す。

【図9】図9はホログラフィック波動の測定および再構成に関する設計概略図を示す。

【図10】図10は本開示技術の実施態様が実施されるデバイスに関する設計概略図を示す。

【発明を実施するための形態】

【0037】

ホログラフィックサウンドは録音される左右の耳ごとに単一のモノラル録音により録音および再生される。これを達成するには共振器を有する録音デバイスにおいて音響を離散的チャネルに分け後で録音された周波数の位相シフトを決定し、それぞれは異なる周波数で共振し、円形状に配列され、非共振材料で離散的チャネルに分けられる。共振器は録音デバイス内に擬似ランダム配列に配置され、また共振器の円形配置は音響をモノラルで録音するマイクロフォンの前面である。ステレオ録音をする場合には、それぞれがモノラルマイクロフォンに関連している共振器による2つの円形状を使用する。次に再生は音響を増幅する微細孔シートにスピーカーまたはトランスデューサを配列させるが、スピーカー/トランスデューサの配列は中心点の周りである。次に音響は音響が最初に録音された位置と、中心点の周囲の特定のトランスデューサの位置に基づき指向的に再生される。

【0038】

開示技術の実施態様の理解のために、ヒトの耳と発明者が作製した録音についての発見を説明する必要がある。

【0039】

ヒトの蝸牛は大域的な強制された結合振動子の鎖とみることができ、またこのモデルは共振と進行波理論の基本的概念を組み入れる。生物学的蝸牛により使用されるスペクトル分析アーキテクチャは高速Fourier変換に関するNログ（N）に対して出力周波数ビンの数に比例して変化する分析時間、電力、ハードウエア利用において非常に効率的である。 蝸牛と似ている周波数と品質因子での非結合調和振動子のグレード付きバンクは同時励起されて、その共振は実験で検証された類似の周波数応答、群遅延、進行波速度を生じる。音色は結合共振器のグレード付きバンクにおいて大域的な近同時強制を作ることで、見かけの進行波を生む。帯域通過フィルターメカニズムはランダム化されたヘルムホルツ共振器または本出願のサブ波長共振器のバンクで模擬発生させられる。

【0040】

音響メタ材料（AMM）（“少なくとも1つの穴または一連の隔置穴を有する、厚さ2ｍｍ未満の薄い平板を含むかまたはからなる音響を吸収して音響強度を低下させるのに使用されるデバイス”と定義される）は幾何学的に置かれた空間と共振効果を組み合わせる。例えば通常の基材料は負の有効密度（ρeff）と体積弾性率(Keff)を示す材料に至る穴、チャネル、共振器または散乱サイトを含んで規則構造を有するように改質されるが、通常は、これらは両方とも正であり、負の音響屈折率（ηeff）となる。簡単なAMM共振器は多くの分野に広く使用されているヘルムホルツ共振器である。ヘルムホルツ共振器は波長に比べて小型で有名な音響共振器であり、粘性減衰による損失が比較的低い。後者は長さlと断面Sの開放端を有する首部（open-ended neck）によって終端した容積Vを埋め込んだ剛体容器から成る。音響反響型表面は反射が生じないように、同調可能周波数で空気音に対してインピーダンス整合するハイブリッド共鳴を得るように設計できる。本明細書に示すヘルムホルツ共振器はAMM概念の説明のために基本的な従来型の要素として使用される。単一の共振器と比較して幾つかの同一の共振器が付いたダクトは構造周期性によりユニークな減衰特性を示し、また入念に設計されるならば、より広い雑音減衰バンドを提供する。このような多重共振器の挙動はフォノニック結晶挙動として知られるプロッホ（つまりBragg）波現象を示唆する。フォノニック結晶は音響メタ材料のサブクラスであるとも言える。音響共振器または散乱体として使用されるヘルムホルツ共振器は、プロッホ波により導入されたサイドバンドギャップを有する単一の設計周波数に同調できる。

【0041】

ユニットの共振周波数が、その慣性（例えば、質量）と復元力（例えば、バネなどの）のみに依存するので、共振周波数での当該波長は共振ユニットの物理的寸法より大きい桁である。このことから、このサブ波長特性はすべてのタイプのメタ材料の共通した特徴であり、これはまた自然には無い機能性を持つサブ波長構造を含む。メタ材料特性は使用された材料から独立しており、構造の幾何学的形状および、それを満たす媒体のみに依存するこのことから、この構造は同調可能な負の体積弾性率の実現には理想的である。音響波のサブ波長制御は電磁気では研究しつくされてはおらず、運河化（canalization）またはハイパーレンズに基づく超解像イメージング実現の試みは僅かである。

【0042】

圧縮センシング（compressed sensing）（圧縮センシング（compressive sensing）、圧縮サンプリング、スパースサンプリング）は劣決定線形系に対するソリューションを見つけて、信号の効率的な獲得と再構成の信号処理技術である。これは最適化により、Shannon- Nyquistサンプリング定理で要求された数よりも少ないサンプリングから回収する信号のスパース性の探求の原理に基づいている。回収が可能であるには2つの条件がある。まず第1は信号が一部のドメインでスパースであることを要求するスパース性（sparsity）である。第2はスパース信号には十分な等長特性により適応されるインコヒーレンスである。圧縮センシングは信号が既知の基底においてスパースである時には有利であり、つまり測定（またはセンサー側での計算）は高価でも、受信機側での計算は安価である。不完全なデータからのイメージを回収できる能力が非常に重要であるのは、必要な全てを回収するのに不完全なデータで良く、エネルギーが節約され、イメージまたは別のセンシング技術に要する時間が少なく、また記憶要件が緩和される。注目信号は信号の不可欠な情報を含む信号に関する少数の線形ランダム投影によりサンプリングされる。このことは信号に関する2つの主要な仮定、つまりスパース性とインコウヒアレンスに依存する。スパース性は注目信号に依存し、インコウヒアレンスはセンシングモダリティに依存する。スパース性とは信号に存在する情報量が信号で得られた全帯域幅と比べてはるかに少ないという意味である。多くの自然信号は自然な状態でスパースである。一方、インコウヒアレンスとはスパース表現である信号が獲得されたドメインにおいて広がっているという意味である。興味深いことだがスパース性は音響信号、レーダー、統計モデル、PDEソリューションズ、その他多くに存在する。

【0043】

音響メタ材料は音波を制御、管理、操作するために人工的に作られた材料である。音響メタ材料がメタ材料の分枝の1つであるから、音響メタ材料の基本原理はメタ材料の基本に類似している。通常、このメタ材料は有効な巨視的挙動を引き起こす小さな不均衡部分の包含を用いて、組成よりも構造から特性を得る。音波の様々な形態の制御は大部分が体積弾性率Keff、質量密度ρeff、キラリティーを通して達成される。一般的に音響メタ材料は2つの主要な分野に分けられる。通常、共振材料は波長よりも短い空間で共振器、剛体球、円柱などの不均衡部分の埋め込み周期配列である行列材料から成る。埋め込み構造はストップ帯および屈折効果を生み出す波散乱および共鳴挙動を引き起こす。非共振音響メタ材料は流体と材料を通る音響波の伝搬を制御するように設計される。非共振メタ材料設計が本出願で使用されている。音響反響型表面はハイブリッド共鳴を得て、反射が生じないように同調可能周波数で空気音に対してインピーダンス整合する。メタ表面の共振セルのそれぞれは2桁に及ぶピーク吸収波長よりも薄い厚さで、空間次元においては深サブ波長である。これ故に伝送になり得ずに、インピーダンス整合音響波は一周波数または多重周波数で完全に吸収されるか、あるいは別の形態のエネルギーに、例えば電流などに変換されるかである。

【0044】

スピーチ、音楽などの音響信号は情報豊富な信号であり、ヒトにとってコミュニケーションのための基本的手段である。デジタル化実世界信号は、よりコンパクトな表現の達成を助け、また利用可能資源の有効利用をする。加えて逆問題はリモートセンシング、レーダイメージング、断層イメージング、顕微鏡イメージング、天文学的なイメージング、デジタル写真などの信号/画像処理の多くのアプリケーション分野に多い。画像復元はイメージングにおいて最も初期の、また最も古典的な線形逆問題の1つであり、1960年代に遡れる。信号処理理論は信号の情報全てを捕捉するために信号をサンプリングするレートが、信号（Nyquist速度）のFourier帯域幅の2倍に等しいとする。このサンプリング方法は大量の重複情報と共に大量のデータを作る。伝統的に信号を回収するためには十分なサンプルを取得する必要があり、エイリアシングを避けて高精度に再構成する。Nyquist Shannonサンプリング定理は厳密に、かつ比類なく信号を回復するには少なくとも周波数の2倍の信号のサンプリングが必要とする。もちろん、この定理はなお有効であり、信号における1バイトまたは白色雑音の画像を飛ばしてしまうとオリジナルを回復は可能でない。しかし最も興味深い信号および画像は白色雑音ではない。三角関数またはウェーブレット関数などの適切な基底関数にて表される時には、多くの信号は相対的に非ゼロ係数が少ない。圧縮（compressedまたはcompressive）センシング技術において、これらはスパースである。さらにShannon定理（Shannon-Nyquistサンプリング定理とも呼ばれる）によれば画像の解像が測定数に比例する。解像を2倍にする場合は、ピクセル数を2倍にする必要がある。

【0045】

圧縮センシングではNyquist基準が崩れる可能性があるが、信号スパース性およびインコヒーレンスなどの一定の条件が限定された測定を補償するために用いられる限りにおいて、正確に信号をまだ回収する。多くの重要な信号にはスパース性に関する特徴があることが見出されており、信号の情報全てを捕捉するために必要なサンプル数を減らすことができる。少ない有意な構成成分のみを有し、また非常に大きい数の有意でない構成成分がある場合には信号はスパースな性質である。

【0046】

圧縮センシングまたはサンプリング（CS）において信号スパース性により、情報損失の無いアンダーサンプリング信号が可能である。CSは劣決定線形系に対するソリューションを見つけることで、信号を効率的に獲得および再構成する信号処理技術として定義される。これは最適化により、Shannon-Nyquistサンプリング定理で要求された数よりも少ないサンプリングから回収する信号のスパース性の探求の原理に基づいている。回収が可能であるには2つの条件がある。まず第1は信号が一部のドメインでスパースであることを要求するスパース性である。第2はスパース信号には十分な等長特性により適応されるインコヒーレンスである。圧縮センシングの世界観では、達成可能な解像は主として画像の情報内容により制御される。自然な状態でスパースであるならば信号は圧縮可能と言われる。情報内容の低い画像は少ない測定数から完璧に再構成できる。必要な測定数が得られたら、更なる追加は不要である。

【0047】

圧縮センシングは限られた測定数および劣決定線形系にてスパース信号を正確に再構成できる信号処理技術である。しかし圧縮センシングは信号がスパースであって、系が測定でスパース信号を広げるはずのインコヒーレントであると周知されている場合には、このルールは有効でないことを示す。系がコヒーレントであるか、または原信号を適切に広げられない時は、この技術は役に立たない。スパース性はCSの背後に隠れた主要な原理であり、有効なスパース表現はCSベースのアプリケーションの成功において主要な役割を果たす。最近、例えば圧縮センシング（CS）技術は断層映像がShannon-Nyquist基準よりも、はるかに少ない量のサンプルデータから良好に検索されることを示す。

【0048】

「グラウンドトルース(Ground Truth)」は検知された音源および周波数に関して重要と考えられるタイプ、サイズ、条件、その他の物理的またはスペクトル特性に関する測定および観測を取り扱う。CSは限られた測定数を基にして、この得られた測定から信号を回収する各種の信号表示方法のコレクションを含む。

【0049】

獲得される信号は下に記載で表される

【0050】

s = ψx,

【0051】

ここでsは獲得される信号であり、Ψはスパース化行列であり、ｘは実数値カラムベクトルである。

【0052】

y = Φs = ψΦx,

【0053】

= Ax = A_kx_k

【0054】

ここでyは圧縮サンプルであり、Φはセンシング行列である。

【0055】

上に記載の方程式の解は次と通りである

【0056】

【数2】

【0057】

上の記載はMn次元空間への-次元ベクトルの投影、つまり方程式の数＜未知数の数である、劣決定問題である。

【0058】

この種の問題解決にはノルムの概念が使用される。ノルムはベクトル空間においてベクトルに厳密に正の長さを割り当てる。ノルムは下に記載のタイプである

【0059】

a. L０ノルム：ベクトルにおける非ゼロ構成成分の数を数える

【0060】

b. L1ノルム：これは下に記載の方程式で得られる

【0061】

【数3】

【0062】

L2ノルム：これは下に記載の方程式で得られる

【0063】

【数4】

【0064】

ヘルムホルツ共振器の共鳴挙動は首部に位置する気柱管の質量の振動によるものであるが、一方で空洞は調和振動子の復元力として挙動する。このことからヘルムホルツ共振器の共振周波数は下に記載のように簡単に記述できる

【0065】

【数5】

【0066】

共振周波数は動作波長が共振器寸法と比べてはるかに長い、低周波数域で発生する可能性がある。共鳴周波数を正しく選択することで、周波数の有限領域において負の密度および負の圧縮性の同時達成が可能である。独立した共振器のシステムは進行方向においてエネルギー移動が無い進行波を作れる。

【0067】

ヘルムホルツ共振器では有効質量密度よりも有効体積弾性率が周波数依存性になる。共鳴誘起の異常な有効体積弾性率Keffはヘルムホルツ共振器の鎖で短絡された導波路で達成できる。ヘルムホルツ共振は空洞内の流体の圧縮と膨張による回復力を受けている首部での流体の振動により特徴づけられる。サンプルはその次元においてはサブ波長である。局所共振の周波数分散により生ずる負の体積弾性率が得られる。ヘルムホルツ共振器ベースメタ材料の隠れた音源は共振器空洞から噴射された割増し空気量である。調可能周波数で空気音に対してインピーダンス整合するサブ波長スケールのユニットセルのあるAMMメタ表面は、異なる共振器の結合とハイブリッド共振モードの発生により達成される。

【0068】

センシング行列の設計： 信号が忠実に回収するセンシング行列の設計の一方で、以下の条件が厳密に満たされなくてはならない

【0069】

普遍インコヒーレンス条件： 2つのチャネルまたはセンシング行列のカラムベクトルの間の相互相関の値は最小でなければならない。

【0070】

データ独立性： ランダム行列の構成はデータに関する事前の知識には依存しない。

【0071】

ロバスト性： ランダムに投影された係数の伝送はネットワークにおけるパケット損失にロバストである。

【0072】

インコヒーレンス条件： センシング行列はスパース化行列とは違わなければならない。時間および周波数基底は最大インコヒーレントである。下に記載の方程式はインコヒーレンス条件を示す

【0073】

μ < 1/(2K-1)

【0074】

開示技術の実施態様は下に記載の図の説明で明らかにされる。

【0075】

初めに図1～3に関して、これらの図は共振器と、共振器群を離散的チャネルに仕切っている非音響分離壁を形成する音響メタ材料層とを使用している音響獲得システムを示す。音響獲得デバイスの外表面形状は球体や、円錐形であり得て、または三次元空間に伸びた正多角形で形成される。図1および2における距離（細字の数字）は特定の実施態様における録音または獲得システムの寸法をミリメートル単位で示す。寸法は変わることがあり、ここでの寸法は例示目的であると理解するべきである。

【0076】

図3および4に関して図4は本開示技術の実施態様において使用された収音または録音デバイス設計概略図を示す。図4は図3に対して90度回転させた図3の収音または録音デバイスの断面を示す。そのような2個のデバイス300それぞれは左右両側用にモノラル録音デバイスを形成する。それぞれは複数の音響共振器310を含み、各共振器は特定の離散的周波数で共振し、マイクロフォン390を取り囲む（いくつかの実施態様においてはモノラルでも、無指向性でも）。システムの左側は左側の耳用の左側録音/音響の録音をし、その右側は右側の録音/音響（つまり右側の耳用）である。2個の録音デバイス300の間の距離d1はバイノーラルまたはステレオ録音要求に設定できる。バイノーラル用の距離d1は聴覚を意図する耳の間の距離（約21．5ｃｍ）であり得る。例として2個の再生デバイスによるステレオの録音と再生の場合の距離d1は約1メートルから25メートルのである。AMM録音システムのそれぞれには非共振材料の各層間に置かれた共振器210により定義される幾つかのチャネルがある。チャネルのそれぞれはシステムの中心にランダムな共振と、収録用マイクロフォンがある共振器を含む。マイクロフォン390で音響が受信されたら、いくつかの実施態様においては前置増幅デバイスに伝送され、次にデータを操作し、データを有形的表現記憶媒体に保存するデータ獲得システム520に伝送される。

【0077】

開示技術の実施態様は下に記載の図の説明で明らかにされる。

【0078】

図1は本開示技術の実施態様において使用されたモノラル録音デバイスの透視図を示す。すでに説明したとおり2個のモノラル録音デバイス300が使用される。デバイス300のそれぞれには種々の容積である複数のヘルムホルツ/音響サブ波長共振器がある（互いに相対的寸法）。それぞれが異なる周波数で変化するために大きいサイズもあり、小さいサイズもある。共振器310は最大の共鳴分散を出すためにデバイス300の中心点の周囲の位置にランダムに、または擬似ランダムに設置される。共振器上の面板は特定の開口面積％（POA）、厚さ、孔径を有し、また音響獲得デバイス300のそれぞれにおける共振器をカバーしており、入射音響信号に対する音響インピーダンス整合を提供する。共振器チャネルの類似したランダムな分散は図2で良く説明されているように孔径を変化させ、共振器の容積（寸法）を維持して達成できる。

【0079】

図2は本開示技術の実施態様において使用されたモノラル録音デバイスの平面図を示す。各チャネルの共鳴分散（共振器310の群を互いに離散的チャネルに音響的に分離する非共振層315の間の共振器）は、層315により分離されたチャネルに分布された複数のヘルムホルツ（音響）共振器を有する。共振はランダム化または擬似ランダム化されて圧縮センシングを支持する測定行列に貢献する。あらゆるチャネルからのランダム化変調は共振器310とチャネルの輪の中心に設置され、本開示技術の実施態様における無指向性マイクロフォン390である単一センサーのオリジナルな無指向性測定モードを「スクランブル」する。結果として測定モードは空間次元と分光次元の両方で複雑である。

【0080】

次に図9までに移動して、図9はホログラフィック波動の測定および再構成に関する設計概略図を示す。各チャネル（各非共振層315の間の共振器310の群）における共振が注目周波数範囲にわたりスパースに分布し、また一次フィルタリング応答のみが支配すると仮定して、導波路の全体的な周波数変調は共振器の個々の応答の増倍により近似される

【0081】

【数6】

【0082】

ｒ’_ｋ’に位置する音源について周波数応答は導波路応答を各導波路開口r'_iから音源の位置r'_kに伝搬させて導き出せる

【0083】

【数7】

【0084】

ここでS₀(ω)は音源からの音響信号のスペクトルであり、

【0085】

【数8】

【0086】

はチャネルの形状、つまり開口によりほぼ決定されるAMMチャネル放射パターンであり、

【0087】

【数9】

【0088】

は開口の位置r'_iから位置r'_ｋまでのグリーン関数である。係数a(ω)は異なる音源位置および音響信号に均一であるセンサーおよびスピーチ応答などの全ての因子を含む。

【0089】

測定行列の各行は

【0090】

【数10】

【0091】

録音ステージ上のスピーカーの1つからの音楽信号を出す離散的Fourier構成成分を表す。行列の行の数はN = KxPであり、ここでKはステージ上の可能性のあるスピーカーの位置、またPはオーディオセグメントの寸法である。

【0092】

測定行列（つまり、H）の行Hmnのそれぞれは1つの周波数におけるオブジェクトベクトルの試験関数を表し、測定データベクトルの測定値がgm=f, Hm>,とする試験関数で定義される形でサンプリングされ、ここで山括弧は内積を意味する。AMM音響センシングシステムに対する測定行列のランダム化は注意深く設計されたAMMチャネル応答Ti(ω)により提供される。

【0093】

測定行列の要素は下に記載の通りに表せる

【0094】

【数11】

【0095】

このことから

【0096】

【数12】

【0097】

は、それぞれが異なる位置

【0098】

【数13】

【0099】

での周波数スペクトル（増幅および周波数内容）を表し、またh_mnを用いて決定される。

【0100】

ここで圧縮データから原信号を効率的に再構成する方法に関する疑問が生じるが本開示技術で解決される。( 基底追跡(BS)は制約L1ノルム最小化に基づく、人気のある数学的最適化問題であり、分割Bregman法は様々なL1正則化最適化問題の解決には有効な技術である。 ｐ＜1での制約Lpノルム最小化に基づく幾つかの再構成アルゴリズムも提案されている。さらには平滑化近似L0ノルム（SLO）の最適化に基づく信号再構成アルゴリズムが研究されており、このシミュレーションの結果は幾つかの既存のアルゴリズムから得られた対応する結果と比較される。その結果は近似L0ノルムの使用を支持している。

【0101】

二段階反復収縮閾値（TwIST）は逆線形問題を解決するアルゴリズムである。 TwISTアルゴリズムは当業者に周知であり、本出願の時点では例えばhttp://www.lx.it.pt/~bioucas/TwIST/TwIST.htmに全面的に記述されている。

【0102】

逆線形問題への多くのアプローチは目的関数の最小化器として解（例えば復元画像）を定義し、ここでYは観測データ、Kは（線形）ダイレクトオペレータ、F（x）は正則化器である。ｆの直感的な意味は簡単である：これの最小化は||y-Kx||2により測定される観測データに対する候補推定値ｘの適応性の欠如と、F（x）で与えられる望ましくない程度との間の妥協を図ることに対応する。いわゆる正規化パラメータ1は2つのタームの相対重量を制御する。

【0103】

最先端の正則化器は非二次および非平滑であり、総変動およびｌpノルムはデコンボリューション、MRI再構成、ウェーブレットに基づくデコンボリューション、基底追跡、最小絶対収縮と選択演算子（LASSO）、圧縮センシングなどの統計的推論および信号/画像処理問題に多くの応用される正則化器のよく知られた例である。

【0104】

反復収縮閾値（IST）アルゴリズムは非平滑正則化器でありえて、F（x）を非二次としてfの最小化に対して最近になって提案された。ISTアルゴリズムの収束速度が線形観測演算子に大きく依存しており、調子の悪い、または非適切である時には非常に低下してしまう。二段階反復収縮閾値（TwIST）アルゴリズムはISTの非線形二段階（「二次」として知られる）反復バージョンを採用して、この欠点を克服する。得られたアルゴリズムは調子の悪い、または非適切である問題であっても、大幅に速い収束速度を示す。

【0105】

科学おける逆問題は原因因子が作る観測データから計算する過程である。長年にわたり、TwISTは数多くの画像復元および圧縮センシング問題の解決に使われてきた。画像復元における最近のアプローチは二段階過程においてウェーブレットの使用である。TwISTにおける二段階は反復収縮閾値である。TwISTアルゴリズムは非適切である問題であっても、収束速度が通常のISTアルゴリズムと比べてはるかに速い。

【0106】

二次アプローチに基づく二段階反復収縮閾値（TwIST）アルゴリズムは収束性能を向上させるのに使用される。Fourier空間に基づく反復最適化過程においてTwISTアルゴリズムは別の一次の方法の収束速度よりも速い速度を示す。反復収縮閾値（IST）アルゴリズムと比較してTwISTは、その収束が過去と現在の反復に基づくので、より有効である。反復収縮閾値（IST）アルゴリズムは近接勾配法のL1ノルムの考察から導き出し、今日では画像回収において一般的なツールであり、CSの原理に基づいている。離散的差分変換の擬似逆を使用しているソフト閾値フィルタリングアルゴリズムは良好な画像回収を示す。

【0107】

ステップ210においてTwISTアルゴリズムは使用可能で、非適切である雑音除去問題を高度に対処する。 逆問題において目標は（おそらく騒々しい）観察yから未知の原信号/画像ｘを推定することであり、Xに適用されたオペレータKにより作られた。非適切である問題の線形システムにおいて

【0108】

ｙ＝Kx

【0109】

ここでXの異なる値について画像が観察される。

【0110】

TwISTでは最小化問題を解くアプローチは下に記載される

【0111】

【数14】

【0112】

ここでλは一定の重み因子、Nは雑音ベクトル、ｙは測定、Aはシステム行列、φは正則化関数、1／2はエネルギー整合係数である。

【0113】

逆線形問題への多くのアプローチは目的関数の最小化器として解（例えば復元画像）を定義する

【0114】

【数15】

【0115】

ここでYは観測データ、Kは（線形）ダイレクトオペレータ、F（x）は正則化器である。ｆの直感的な意味は簡単である：これの最小化は||y-Kx||2により測定される観測データに対する候補推定値ｘの適応性の欠如と、F（x）で与えられる望ましくない程度との間の妥協を図ることに対応する。いわゆる正規化パラメータ1は2つのタームの相対重量を制御する。二段階反復収縮閾値（TwIST）アルゴリズムはISTの非線形二段階（「二次」として知られる）反復バージョンを採用して、この欠点を克服する。 得られたアルゴリズムは調子の悪い、または非適切である問題であっても、大幅に速い収束速度を示す。

【0116】

TwIST方法はIST技術の良好な雑音除去性能維持を目的としている一方、非適切である問題をISTアルゴリズムとして効率的に対処もできる。この方法においては二段階反復収縮閾値（TwIST）アルゴリズムの形をもつTwISTと呼ばれる反復法の新しいクラスが使用された。更新方程式は以前の1つのみの推定値でなく、2つの以前の推定値（このことから二段階である）に依存する。このクラスは反復収縮閾値（IST）方法を含み、かつ延長する。

【0117】

本開示の技術のセンシングシステムにはg=Hfとして一般サンプリングモデルを伴うヘルムホルツ共振器のランダム化配置（または擬似ランダム化配置）があり、ここでgは測定されたデータのベクトル形（測定ベクトル）、またｆは推定すべきオブジェクトベクトルである。測定行列Hは連続的なインデックス付き周波数において線形サンプリングベクトルの積層（stacking）している行（試験関数としても知られる）により形成される。この行列はメタ材料の物理的特性によりランダム化されて、異なる方位と範囲からの音波に対して高度に非相関の情報チャネルを作成する。行列のランダム化レベルはサポートされている解像度と、センシングシステムの多重化を決定する。

【0118】

ここでマルチスピーカーシステムを参考にしてステージ上にある幾つかのスピーカーから再生される音響信号を提供する。収集信号のFourier構成成分は、この周波数における全ての導波路からの応答の重ね合わせとして表せる

【0119】

【数16】

【0120】

はi^thAMMチャネルからの応答である。

【0121】

再構成に使用する測定されたデータのベクトルは

【0122】

【数17】

【0123】

であり、またオブジェクトベクトルfはN = K ×P要素を含むスカラーベクトルである（Kは可能性のある位置、またPは有限オーディオライブラリに寸法である）。fのスパース性（幾つかの要素のみが非ゼロであり、活性化した音源に対応して）により、センシング過程は圧縮センシングの枠組みにとって理想的な適合である。L1ノルム正規化は二段階反復収縮閾値（TwIST）アルゴリズムを用いて実施して非適切である逆問題を解く。

【0124】

逆問題において目標は、おそらく騒々しい観察yから未知の原信号/画像ｘを推定することであり、Xに適用されたオペレータKにより作られた。非適切である問題の線形システムにおいて

【0125】

y = Kx

【0126】

ここでXの異なる値について、画像が観察される。

【0127】

ここでステップ210（図9を参照している）において線形システム用のTwIST方法から下部に記載（ステップ230）の行列AがCとRに分割され、線形関数Ax＝Bが考察される

【0128】

Ａ = Ｃ - Ｒ，

【0129】

上に記載の式にＣ= Ｉ + λＤｔおよびＲ = I -KTKを入れる（ステップ240）

【0130】

A = λＤｔ + KTK,

【0131】

線形システムAx = Bにおける二段階反復は次のようになる（ステップ250）

【0132】

Xt+1 = (1 - α)ｘｔ - 1 + (α - β)ｘｔ -1+ (1 - Υ)xt+ βΓ λ(xt)A = λＤｔ + ＫＴＫ ,

【0133】

TwIST過程が実施される（ステップ250）

【0134】

Ｘ１ ＝ Γλ（ｘ０）

【0135】

Xt + 1= (1-α)xt - 1 + (α-β)xt + βΓ λ(xt)

【0136】

αおよびβの異なる値は次のように決められる（ステップ270）

【0137】

α = ρ2 + 1,

【0138】

β = 2α/ (ξm+ξ1)

【0139】

ここでρの値は次のように決められる（ステップ280）

【0140】

ρ = (1-√ｋ)/ (1+√ｋ) < 1

【0141】

収束が証明される（ステップ290）と反復は停止する（ステップ295）か、さもなければ反復してステップ260～290は再度実施される。

【0142】

多孔質層内に配列された微細孔板（MPP）を使用している非共振音響メタ材料インピーダンスシステムと、本開示技術の層状デバイスの実施態様において使用されるエアギャップは音響吸収に加えて音響インピーダンスに対して最適化される。ヘルムホルツ共振器においてと同様に伝統的な微細孔は一定の周波数に同調されるが、現在の技術では、AMMデバイスは20～20000Hzの周波数範囲に同調されている。本開示技術の実施態様においてメタ材料MPPシートと音響吸収層とを周期的に配列した非共振音響メタ材料層が使用されている。吸収層の厚さ、材料特性、また孔径、穴間隔などの微細孔シートの設計パラメータなどはメタ材料アプローチを使用して最適化される。AMMインピーダンス整合は周波数に本質的に無関係であり、音響メタ材料スピーカーシステム形状により調整される。

【0143】

ここで図5の説明に移り、図5は本開示技術の実施態様を使用して録音されたホログラフィックサウンドを発生させるのに使用される再生デバイスを示す。相対的寸法はミリメートル単位のaなどの細字の数字で示す。多面体スピーカー500（10側面）の設計概略図では、圧電アクチュエータ510（1個のみを提示しているが、多面体の各部分/側面が本開示技術の実施態様においては同じである）が音響ホログラムを再生する。 多重圧電アクチュエータは多面体スピーカーの表面に接着される。別の実施態様において多重の従来のスピーカーは音響ホログラム再生に使用できる。 スピーカーは中心点がホログラフィックサウンドの録音に使用されたマイクロフォン390の位置と同じとして、中心点の周囲に三次元に配列されなければならない。再生は音が発生した場所の中心点からの方向（録音店に対する空間における三次元ベクトル）により音が出力されて機能する。このようにして多面体スピーカー500の実施例において、共振器プレート510から音は再生され音響伝搬の方向に対して直角な1および2の方向に出てゆく。 共振器510は圧電トランスデューサにより振動される音響メタ材料で作られて音を増幅する。 このような単一の音響再生デバイス500、または一連のスピーカーは左耳に1個、右耳に1個として録音されたホログラフィックサウンドに使用できる。

【0144】

図8は本開示技術の方法を実行するのに必要なステップの概念的な流れ図を示す。 ステップ110において音響共振器は擬似ランダムな円形配列にして離散的（個別に、分離して）チャネルに配列される。無指向性マイクロフォンなどのマイクロフォンは録音デバイスの前側または裏側に配置され、また無指向性マイクロフォンなどのマイクロフォンは録音デバイスのそれぞれの、複数の、幾つかの、大部分の円形断面の中心点の周囲に配列される。 三次元空間の2つ以上の音源または点からの出力音響（つまり、X、Y、Z座標軸上の少なくとも1、2、3の距離におけるマイクロフォンからの異なる距離）がステップ120で生み出される。録音デバイスの周りの周囲空間からの出力音響は共振器を共振させる。共振器のそれぞれは1Hz、2Hz、5Hz、または20Hzなどの特定の周波数に同調されるが、円形配列内および/または離散的チャネルにて擬似ランダムに配列される。 次に、この音響はいくつかの実施態様において反射無しで直接的にマイクロフォンにより取り入れられるばかりでなく、共振器で反射された後にマイクロフォンにより取り入れたれる。直接的にマイクロフォンにより取り入れられた音と、特定の周波数において共振器で反射された音との時間差に基づき、また共振器のマイクロフォンからの距離が分かると、音源の方向を少なくとも部分的に計算できる。次に、これを無数の別の周波数、潜時、共振器の位置と組み合わせることでステップ340において相当の程度で、音波の位相シフトを計算でき、マイクロフォンに対する、それぞれの音響の位置を決定する。

【0145】

次にマイクロフォンに受信された音響は圧縮され、ステップ160において円形配列（録音デバイス）からの出力の単一のチャネル（モノラル録音）において保存される。2台の録音デバイスを使用でき、またステレオ録音を生み出すためであって1つのモノラルチャンネルが書く録音デバイスから作られる。次に、この実施態様において録音デバイスは離散的チャネルにて2つの円形状で二重であり、また独自のモノラルマイクロフォンを備え、この出力は単一のモノラル録音で録音される（ステップ160）。全体でステレオ録音を形成する。

【0146】

ステップ170および180は再生のためのステップである。再生はリアルタイム（録音デバイスと再生デバイス間のプロセッサー、ネットワーク装置、送信装置の瞬時の適用で）でも、後の録音からも可能である。これをするにはピエゾドライバまたはスピーカーは各チャネルに対する中心点から等間隔に、または実質的に等間隔に配列される。次に音響はステップ180において、それぞれの、または単一のモノラルチャンネルにおいて保存してあって、すでに決定された位相シフトに基づき、特定のピエゾドライバから再生される。

【0147】

再度、図6および７に移り、本開示技術の実施態様の録音デバイスの略図が示されている。図6は本開示技術の実施態様の録音デバイスの第1の略図を示す。図７は本開示技術の実施態様の録音デバイスの第2の略図を示す。図のページの上部は低周波であり、ページの下部は高周波である。円（図１を参照）の部分/くさび状のものになっているから、低周波には大きな共振器が必要である一方で高周波には小さな共振器が必要となり、また典型的には円の外側方向である円の断面が示されている。複数の穴部がある外側の防音層315のそれぞれと面板319は本開示技術の実施態様における録音デバイスの内側にあるサブ波長共振器へと音響が通過する。 共振器の奥行である小文字の310が90度回転させて右側と、断面の下に示されている。

【0148】

図10は本開示技術の実施態様が実施されるデバイスに関する設計概略図を示す。デバイス600はオペレーションを定義するデバイスのプログラムインストラクションを実行することでコンピュータの全体的なオペレーションを制御するプロセッサー650を含む。デバイスのプログラムインストラクションは貯蔵デバイス620（例えば、マグネットディスク、データベース）に保存され、コンソールがプログラムインストラクションの実施を求める時にメモリー630に読み込まれる。このことからデバイスのオペレーションはメモリー630および/または貯蔵620に保存されたデバイスのプログラムにより定義され、またコンソールはコンソールのプログラムインストラクションを実施するプロセッサー650により制御される。デバイス600はネットワーク（例えば、インターネット）経由で別のデバイスと通信できる1つの、または複数の入力ネットワークインターフェイスをも含む。またデバイス600は電気入力インターフェイスを含む。デバイス600は別のデバイスと通信する1つ以上の出力ネットワークインターフェイスをも含む。デバイス600は入力/出力640をも含み、ユーザーのコンピュータ（ディスプレイ、キーボード、マウス、スピーカー、ボタンなど）との相互作用を可能にするデバイスを表す。当業者であれば実際のデバイスの実装は別の構成成分をも含むことを理解しており、また図4は例示を目的として、そのようなデバイスの幾つかの構成成分の設計概略図である。さらに図1から図9で示された方法およびデバイスが図10に示されるようなデバイス上に実装されることを当業者には理解される。

【0149】

さらには開示された全ての主題は法律上の、非抽象的主題として支持され、解釈されるべきである。全ての用語は請求する定義の部分のみを含むべきと主張される。例として「コンピュータ読み取り可能な記憶媒体」は非一時的記憶媒体として定義される。

【0150】

上に記載の本開示の技術は実施態様を参照して説明してきたが、本技術の範囲を逸脱せずに形態および詳細において種々の変更がなされ得ることが当業者には理解される。そのため、前述の実施態様はあらゆる点で単なる例示にすぎず、限定的に解釈してはならない。さらに特許請求の範囲の均等範囲に属する変更は、すべて本発明の範囲内である上に記載の如何なる方法および器具の組み合わせも本発明の範囲内と考える。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】