特表2025-500328 | 知財ポータル「IP Force」

知財求人 - 知財ポータルサイト「IP Force」

▶ ノモノ　エーエスの特許一覧

特表2025-500328音源位置取得方法

書誌要約請求の範囲詳細な説明課題実施例実施するための形態図面の説明

目に優しい文字サイズ小中大 PDF Top

< >

1
2
3
4
5
6

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2025-01-09

(54)【発明の名称】音源位置取得方法

(51)【国際特許分類】

G01S 15/08 20060101AFI20241226BHJP

G10L 25/51 20130101ALI20241226BHJP

G10L 25/06 20130101ALI20241226BHJP

H04R 1/40 20060101ALI20241226BHJP

H04R 3/00 20060101ALI20241226BHJP

G01S 1/76 20060101ALI20241226BHJP

【ＦＩ】

G01S15/08

G10L25/51 400

G10L25/06

H04R1/40 320

H04R3/00 320

G01S1/76

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2024537176

(86)(22)【出願日】2022-12-21

(85)【翻訳文提出日】2024-08-16

(86)【国際出願番号】 EP2022087370

(87)【国際公開番号】W WO2023118382

(87)【国際公開日】2023-06-29

(31)【優先権主張番号】PA202170662

(32)【優先日】2021-12-22

(33)【優先権主張国・地域又は機関】DK

(81)【指定国・地域】

(71)【出願人】

【識別番号】520443686

【氏名又は名称】ノモノエーエス

【氏名又は名称原語表記】ＮＯＭＯＮＯＡＳ

【住所又は居所原語表記】Ｍｅｌｌｏｍｉｌａ５６，７０１８Ｔｒｏｎｄｈｅｉｍ，Ｎｏｒｗａｙ

(74)【代理人】

【識別番号】110002952

【氏名又は名称】弁理士法人鷲田国際特許事務所

(72)【発明者】

【氏名】ソルヴァングオウダン

【テーマコード（参考）】

5D220

5J083

【Ｆターム（参考）】

5D220BA06

5D220BC05

5J083AD01

5J083AD04

5J083AE08

5J083BE08

5J083CA02

5J083CA10

(57)【要約】

本発明は、専用の基準点に対する音源の位置を求める方法に関する。時間的に同期した第１の音声信号と複数の第２の音声信号が録音される。位置は、第１の音声信号と複数の第２の音声信号の少なくとも１つとの周波数領域における相関によって導出される相関信号に推定されたフィルタを適用することによって求めることができる。少なくとも１つのフィルタ済みの相関信号において、時間領域において専用の閾値を超える２つのタイミング値が導出される。すると、専用の基準点と音源との間の距離は、それぞれ取得された第１のタイミング値と第２のタイミング値に基づく。
【選択図】図３

【特許請求の範囲】

【請求項1】

専用の基準点に対する音源の位置を取得する方法であって、
－音源で録音される第１の音声信号を取得することと、
－それぞれが専用の基準点に対する既知の位置関係で録音された複数の第２の音声信号を取得することであって、前記第１の音声信号と前記複数の第２の音声信号は時間的に同期している、取得することと、
－前記第１の音声信号について、
－時間－周波数領域において、前記第１の音声信号のそれぞれの周波数ビンの信号対雑音比に作用するフィルタを推定することと、
－前記第１の音声信号と前記複数の第２の音声信号の少なくとも１つを前記周波数領域で相関させ、少なくとも１つの相関信号を取得することと、
－前記少なくとも１つの相関信号に前記フィルタを適用し、少なくとも１つのフィルタ済みの相関信号を取得することと、
－前記少なくとも１つのフィルタ済みの相関信号において、前記時間領域で専用の閾値を超える第１のタイミング値を取得することと、
－前記第１のタイミング値に基づいて、前記少なくとも１つのフィルタ済みの相関信号における閾値に対応する第２のタイミング値を取得することと、
－それぞれの取得された第１のタイミング値と前記第２のタイミング値に基づいて、前記専用の基準点と前記音源との間の距離を推定することと、
を備える方法。

【請求項2】

－前記専用の基準点に対して既知の位置関係で録音された少なくとも２つのフィルタ済みの相関信号に対して、
－前記少なくとも２つのフィルタ済みの相関音声信号を特定の時間期間を中心として切り詰めることと、
－切り詰められたフィルタ済みの相関音声信号のペアの間のクロス相関を取得することと、
－取得された前記クロス相関を球状空間に投影することによって、前記フィルタ済みの第１の音声信号の到来角を取得することと、
をさらに備える、請求項１に記載の方法。

【請求項3】

専用の基準点に対する音源の角度を取得するための方法であって、
－１つ以上の音源で録音された第１の音声信号を取得することと、
－それぞれが専用の基準点に対する既知の位置関係で録音された複数の第２の音声信号を取得することであって、前記第１の音声信号と前記複数の第２の音声信号は、時間的に同期している、取得することと、
－前記第１の音声信号について、
－時間－周波数領域において、前記第１の音声信号の１つのそれぞれの周波数ビンにおいて信号対雑音比に作用するフィルタを推定することと、
－前記第１の音声信号と前記複数の第２の音声信号の少なくとも２つを前記周波数領域で相関させて、少なくとも２つの相関信号を取得することと、
－前記相関信号に前記フィルタを適用して、少なくとも２つのフィルタ済みの相関信号を取得することと、
－少なくとも前記第１の音声信号による環境からの反射を除去するように選択された特定の時間期間を中心として、前記少なくとも２つのフィルタ済みの相関音声信号を切り詰めることと、
－前記複数の第２の音声信号の、切り詰められたフィルタ済みの相関音声信号のペアの間のクロス相関を取得することと、
－取得された前記クロス相関を球状空間に投影することにより、フィルタ済みの前記第１の音声信号の到来角を取得することと、
を備える方法。

【請求項4】

前記特定の時間期間は、前記複数の第２の音声信号の位置の間の最大タイムオブフライトに比例する、請求項２または３に記載の方法。

【請求項5】

前記フィルタ済みの相関音声信号を切り詰めることは、
－複数の前記フィルタ済みの相関音声信号をアップサンプリングすること、または、
－前記切り詰められたフィルタ済みの相関音声信号をアップサンプリングすること、
を備える、請求項２から４のいずれか一項に記載の方法。

【請求項6】

前記クロス相関を取得することは、
－前記切り詰められたフィルタ済みの相関音声信号のそれぞれに、ステアリングレスポンスを適用すること、
を備える、請求項２から４のいずれか一項に記載の方法。

【請求項7】

前記第１の音声信号を相関させることは、
－前記第１の音声信号および前記複数の第２の音声信号をアップサンプリングすること、または、
－前記少なくとも２つの相関信号をアップサンプリングすること、
を備える、請求項１に記載の方法。

【請求項8】

前記第１の音声信号のフィルタを推定することは、スペクトルマスクを推定することを備える、請求項１から７のいずれか一項に記載の方法。

【請求項9】

前記スペクトルマスクのフィルタを推定することは、
－前のタイムスライスに応じて、それぞれのタイムスライス（ｋ）に対する雑音に基づいて信号対雑音比（ＳＮＲ）を決定することと、
－前記信号対雑音比が予め決められた閾値を超えない場合、所与の周波数に対する前記スペクトルマスクのパラメータを０に設定することと、
－前記信号対雑音比が前記予め決められた閾値を超える場合、所与の周波数に対する前記スペクトルマスクのパラメータを１に設定することと、
を備える、請求項８に記載の方法。

【請求項10】

前記第１の音声信号を前記複数の第２の音声信号の少なくとも１つと相関させ、前記相関された信号に前記フィルタを適用することは、
－前記第１の音声信号に対して、および、前記複数の第２の音声信号の前記少なくとも１つに対して、短時間フーリエ変換（ＳＴＦＴ）を行い、それぞれのスペクトログラムを取得することと、
－前記それぞれのスペクトログラム上でクロススペクトルを取得することと、
－取得された前記クロススペクトルに前記フィルタを適用することと、
－逆短時間フーリエ変換（ＩＳＴＦＴ）を実行し、前記フィルタ済みの第１の音声信号を取得することと、
を備える、請求項１から９のいずれか一項に記載の方法。

【請求項11】

前記第１の音声信号のそれぞれの周波数ビンにおける前記信号対雑音比に作用するフィルタを推定することは、
－１つ以上の第１の録音された音声信号から導出されるパワースペクトルのそれぞれの時間スライス（ｋ）について、パワースペクトルを平滑化するための分位フィルタ、特にメディアンフィルタを適用することと、
－それぞれのタイムスライス（ｋ）について、前のタイムスライスに応じて雑音を推定することと、
－所与の周波数について、前記信号対雑音比が予め定めされた閾値を超えるかどうかを評価し、それに応じて前記周波数に対する前記フィルタのパラメータを１または０に設定することと、
を備える、請求項１から１０のいずれか一項に記載の方法。

【請求項12】

前記第１の音声信号のそれぞれの周波数ビンにおける前記信号対雑音比に作用するフィルタを推定することは、雑音除去処理からの残留信号を雑音の推定値として適用することを備え、前記雑音除去処理は、任意選択で機械学習に基づくことができる、
請求項１から１１のいずれか一項に記載の方法。

【請求項13】

少なくとも２つの第１の音声信号について、
－時間－周波数領域において、前記２つの第１の音声信号のうちの一方の音声信号のそれぞれの周波数ビンにおける前記信号対雑音比に作用するフィルタを推定することと、
－前記２つの第１の音声信号のうちの１つ目の音声信号と前記２つの第１の音声信号のうちの２つ目の音声信号とを周波数領域で相関させ、相関信号に推定された前記フィルタを適用することと、
－前記相関信号の間の時間差を評価することと、
－前記時間差の前記評価に基づいて、前記２つの第１の音声信号のうちの１つを１つ以上の前記第１の音声信号として選択することと、
をさらに備える、請求項１から１２のいずれか一項に記載の方法。

【請求項14】

前記相関させることは、
－２つの第１の音声信号の短時間フーリエ変換（ＳＴＦＴ）を実行し、それぞれのスペクトログラムを取得することと、
－前記それぞれのスペクトログラム上でクロススペクトルを取得することと、
－取得されたクロススペクトルに前記フィルタを適用することと、
－逆短時間フーリエ変換（ＩＳＴＦＴ）を実行し、フィルタ済みの相関を取られた第１の音声信号を取得することと、
を備える、請求項１３に記載の方法。

【請求項15】

前記複数の第２の音声信号は、４つの音声の音声信号を備え、これら４つの音声信号のうちの２つは、１５ｃｍの最大空間距離で録音される、請求項１から１４のいずれか一項に記載の方法。

【請求項16】

－気温の情報、特に複数の第２の音源の近傍の気温の情報を取得することと、
－取得された前記気温の情報に応じて前記距離を推定することと、
をさらに備える、請求項１から１５のいずれか一項に記載の方法。

【請求項17】

－前記専用の基準点と１つ以上の前記音源との間の推定距離を、カルマンフィルタまたはパーティクルフィルタに供給すること、
をさらに備える、請求項１から１６のいずれか一項に記載の方法。

【請求項18】

－１つ以上のプロセッサと、
－前記１つ以上のプロセッサに結合され、前記１つ以上のプロセッサによって実行されると、前記１つ以上のプロセッサに請求項１から１７のいずれか一項に記載の方法を実行させる命令を備えるメモリと、
を備える、コンピュータシステム。

【請求項19】

請求項１から１７のいずれか一項に記載の方法を実行するためのコンピュータ実行可能命令を備える、非一過性のコンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本出願は、２０２１年１２月２２日付デンマーク国出願ＰＡ２０２１７０６６２の優先権を主張するものであり、その開示内容は参照によりその全体が本明細書に組み込まれる。

【0002】

本発明は、専用の基準点に対する音源の位置を取得する方法に関する。また、本発明は、コンピュータシステムおよび非一過性のコンピュータ読み取り可能な記憶媒体に関する。

【背景技術】

【0003】

アンビソニックスやドルビーアトモスのような音場または空間オーディオシステムやフォーマットは、与えられたサウンドシーンに関連するエンコードされたサウンド情報を提供する。このようなアプローチによって、サウンドシーン内の音源に位置情報を割り当てることができる。このような技術は、録音されたサウンドにゲームオブジェクトの位置情報が付与されるコンピュータゲームや、大規模なオーケストラやスポーツイベントなどのイベントのライブキャプチャでもすでに知られている。その結果、考えられる用途の数は、膨大であり、例えばスポーツイベントに参加しているような印象を与えることによる上記の没入効果から仮想現実や拡張現実の体験まで多岐にわたる。

【0004】

多くの場合、このような用途のための音の録音は、空間オーディオマイクを使用すること自体が困難である。これらは空間上の特定の地点から生の音場情報を捉えるのに便利であるが、ビームフォーミング技術に基づいているため技術的な制約もあり、一般的に高価なものとされている。例えば、マイクから大きく離れた位置にいる人の音質は低下する可能性がある。また、より雑音または残響が多い状況で、或いは、複数の人が話している場合、等化やその他の処理技術を目的とした個々の音源の特定および分離は、困難である。

【0005】

一方、オーディオコンテンツ制作者も、録音品質の向上や、リスナーの没入感を高める付加的な音響効果のために、空間オーディオ情報の利用を含む高品質オーディオの必要性を認識している。その結果、高レベルの空間オーディオマイクの利益および利点を達成する、より低コストの解決策が必要とされている。この解決策は、ハードウェアに関係なく動作し、さまざまなシナリオで柔軟に使用できるものでなければならない。

【発明の概要】

【課題を解決するための手段】

【0006】

提案された原理を持つ本開示は、上述のいくつかの利益および利点を達成する方法を提供する。本発明者は、専用の基準点に対する音源の距離と角度の両方で正確な位置の決定を提供する方法を発見した。提案された方法は、使用されるハードウェアにほとんど依存せず、異なる品質レベルに拡張可能である。さらに、本方法はオフライン処理とリアルタイム処理を可能にする。その結果、提案された方法は、ポッドキャスト、映画、ライブまたはその他のイベント、オーディオおよび電話会議、バーチャルリアリティ、ビデオゲームアプリケーションなどのためのサウンドキャプチャおよび処理を含むが、これらに限定されない様々な用途に含めることができる。

【0007】

一態様において、本発明者らは、専用の基準点に対する音源の位置を決定する方法を提案する。これに関して、「位置」という表現には、音源から専用の基準点までの距離、基準点を通る１軸または２軸に基づく角度、またはそれらの組み合わせが含まれる。この方法は、音源で録音された第１の音声信号を取得する。同様に、複数の第２の音声信号が、専用の基準点に対して既知の関係にある位置で録音される。第１の音声信号と複数の第２の音声信号は時間的に同期している。

【0008】

通常、第一の音声信号は音源の近傍で録音されると仮定される。これは、音源と専用の基準点との間の距離に比べ、距離が比較的小さいことを意味する。しかしながら、「音源で」という用語は、非常に限定された意味で理解されるべきものではない。むしろ、この表現は、実際の音源とマイクとの間の特定の距離を含み、許容するものとする。同様に、複数の第２の音声信号は、基準点までの距離と角度が既知である異なる位置で録音される。時間的な同期は、以降のステップで提案される方法にとって重要である。このような時間的な同期は、録音された音声信号に共通のタイムベースを提供することで、実現できる場合もある。他のいくつかの例では、録音された音声信号は、例えば、第１の音声信号と複数の第２の音声信号に含まれ録音される専用の開始信号を適時に相関させることによって、時間ベースを提供するために使用することができる。

【0009】

ここで、時間－周波数領域における第１の音声信号のそれぞれの周波数ビンにおける信号対雑音比に作用するフィルタが第１の音声信号に対して推定される。次に、第１の音声信号を複数の第２の音声信号の少なくとも１つと周波数領域で相関させ、少なくとも１つの相関信号を取得する。場合によっては、第１の音声信号は複数の第２の音声信号のそれぞれと相関され、複数の相関信号を取得する。

【0010】

事前に推定されたフィルタが少なくとも１つの相関信号に適用され、少なくとも１つのフィルタ済みの相関信号が取得される。

【0011】

次のステップでは、専用の基準点と音源との間の距離を推定することができる。この目的のために、時間領域において専用の閾値を超える少なくとも１つのフィルタ済みの相関信号における第１のタイミング値が取得される。また、第１のタイミング値に基づいて、少なくとも１つのフィルタ済みの相関信号における閾値に対応する第２のタイミング値が取得される。

【0012】

専用の基準点と音源の間の距離は、それぞれ取得された第１のタイミング値と第２のタイミング値に基づいて導出される。前のステップで、フィルタ済みの相関信号が１つ以上導出された場合、（例えば、誤差マージンなどを含む平均値を計算することにより）距離の決定を改善することが可能な複数の距離を取得することができる。

【0013】

代替的または追加的に、専用の基準点を通る軸に対する音源の角度を計算することもできる。この目的のために、少なくとも２つのフィルタ済みの相関信号と、複数の第２の音声信号を提供するマイクの位置に関する任意選択の先験的推定値または知識が利用される。上述のフィルタを適用し、フィルタ済みの第１の信号を周波数領域で複数の第２の音声信号のうちの少なくとも２つと相関させ、少なくとも２つの相関音声信号を得た後の後続のステップでは、少なくとも２つのフィルタ済みの相関音声信号は、特定の時間期間を中心として切り詰められる。次に、切り詰められたフィルタ済みの相関音声信号のペアの間のクロス相関が取得される。フィルタ済みの第１の音声信号の到来角は、複数の第２の音声信号を提供するマイクの位置の先験的推定値または知識に基づいて、取得されたクロス相関を球状空間に投影することによって導出される。

【0014】

提案される手法では、距離と角度を互いに独立して取得することが可能である。２つの異なる信号の相関は、録音され保存された音声信号に対してオフラインで行うことができ、また必要に応じてリアルタイムで行うこともできるため、この方法を様々な用途に使用することができる。さらに、ゆっくりと動く音源を導き出すだけでなく、第１と第２の音声信号を交換することも可能である。異なる第１の音声信号を相関させることで、提案された方法の精度をさらに向上させることができる。本方法は音の反射に対してロバストであり、閉空間での録音セッションに有用である。

【0015】

物質を伝わる音の速度は、物質の温度に依存する。正確な測定のために、特に複数の第２音源の近傍の気温が測定される。このような測定は、録音セッション中の温度変化を補正するために定期的に繰り返すことができる。距離は、導出された気温に応じて推定される。

【0016】

ある実施例では、上記の特定の時間期間は、複数の第２の音声信号の２つの異なる位置の間のタイムオブフライトに比例する。特定の時間期間によって定義されるウィンドウは、部屋の壁や他の大きな物体によって引き起こされる音の反射がクロス相関ステップ中に省かれることを保証する。これはまた、複数の第２の音声信号の異なる２つの位置間の距離を録音セッションの環境に応じて調整できることを意味し、それによって提案される方法の柔軟性がさらに向上する。

【0017】

ある実施例では、フィルタ済みの相関音声信号を切り詰めるステップは、アップサンプリングのステップを含む。アップサンプリングは、複数のフィルタ済みの相関音声信号に対して、または切り詰められたフィルタ済みの相関音声信号に対して実行することができる。このステップにより、時間分解能がより細かくなり、距離と角度の決定の両方においてより高い分解能が得られる。角度の決定に関しては、切り詰められたフィルタ済みの相関音声信号のそれぞれにステアレスポンスを適用することで、クロス相関を取得することができる。

【0018】

（特定の位置に関連付けられた）第２の音声信号のペアのクロス相関（ＳＲＰ－ＰＨＡＴではＰＨＡＴ）が最大となる位置は、それらの位置の間の到達時間差に対応する。到達時間差は、第２の音声信号が録音された位置に関する知識を利用して、入射角に対応付けることができる。したがって、クロス相関は、時間領域の代わりに球状空間に投影することができる。これは、用途に適した到来角を決定するために、適切な第２の位置（またはそれぞれの関連する第２の音声信号）のペアの集合に対して、すべてのフィルタ済みの、切り詰められたクロス相関の推定値に対して実行される。例えば、音源が水平面内にしかない場合、この平面を張る位置の集合を使用すれば十分であり、他の集合は使用せず、これにより計算の複雑さが低減される。投影された推定値は単純に合計され、最大値の探索が行われる。最大値の位置は到着角度に対応する。

【0019】

他の実施例では、第１の音声信号のフィルタを推定するステップは、スペクトルマスクを推定することからなる。このようなスペクトルマスクのフィルタに対して、信号対雑音比（ＳＮＲ）は、前のタイムスライスに対応するそれぞれのタイムスライスの雑音に基づいて決定することができる。スペクトルマスクのパラメータは、信号対雑音比が所与の周波数に対して予め定められた閾値を超えない場合、０に設定される。同様に、スペクトルマスクのパラメータは、信号対雑音比があらかじめ定められた閾値を超える場合、所定の周波数に対して１に設定される。他のいくつかの実施例では、第１の音声信号のそれぞれの周波数ビンにおける信号対雑音比に作用するフィルタを推定することは、１つ以上の第１の録音済み音声信号から取得されるパワースペクトルのそれぞれの時間スライスのパワースペクトルを平滑化するための分位フィルタ、特にメディアンフィルタを適用するステップを備える。次に、前のタイムスライスに応じて、それぞれのタイムスライスの雑音を推定する。前のアプローチと同様に、所定の周波数に対する信号対雑音比が、あらかじめ決められた閾値を超えるかどうかが評価される。その結果、当該周波数のフィルタパラメータは、それに応じて１または０に設定される。他のいくつかの実施例では、第１の音声信号のそれぞれの周波数ビンにおける信号対雑音比に作用するフィルタを推定することは、雑音除去処理からの残留信号を雑音推定値として適用するステップを備える。雑音除去処理は機械学習に基づくことができる。これまでのアプローチと同様に、所与の周波数に対する信号対雑音比が予め定められた閾値を超えるかどうかが評価される。その結果、当該周波数に対するフィルタパラメータは、それに応じて１または０に設定される。

【0020】

さらに、いくつかの実施例は、第１の音声信号と複数の第２の音声信号の少なくとも１つを相関させるステップに関する。短時間フーリエ変換（ＳＴＦＴ）を第１の音声信号と複数の第２の音声信号の少なくとも１つに適用し、それぞれのスペクトログラムを取得する。次に、それぞれのスペクトログラムのクロススペクトルを取得し、前に取得したフィルタをクロススペクトルに適用する。相関が取られたフィルタ済みのスペクトログラムは、逆短時間フーリエ変換（ＩＳＴＦＴ）を実行することにより、時間領域に変換される。これにより、フィルタ済みの相関を取られた第１の音声信号が取得される。

【0021】

他の実施例は、２つの異なる位置で録音された音の遅延に関する。どちらの位置も、それぞれの位置で録音された第１の音声信号と関連している。提案される方法では、２つ以上の第１の音声信号に関連付けられた位置の間の距離を計算する簡単なツールが提供される。これは、（第１の音声信号を録音する）２つ以上のマイクの間のクロストークの可能性を推定するだけでなく、位置の推定を行う後処理に使用できるマイクの間の相対距離に関する情報も提供するので、有用である。その結果、このアプローチは、２つ（またはそれ以上）の第１の音声信号が録音された位置から離れた音源の情報を取得するために使用することができる。

【0022】

ある実施例では、時間－周波数領域において、２つの第１の音声信号の一方のそれぞれの周波数ビンにおける信号対雑音比に作用するフィルタが推定される。この処理は、２つの異なるフィルタが推定されるように、両方の第１の音声信号に対して行われる。次に、２つの第１の音声信号のうちの１つ目の音声信号を、周波数領域において２つの第１の音声信号のうちの２つ目の音声信号と相関させ、２つの音声信号のうちの１つ目の音声信号に関連付けられた推定フィルタを適用する。この処理は、２つの第１の音声信号のうちの２つ目の音声信号とその各フィルタで繰り返されてもよい。相関信号間の時間差が評価される。この時間差は、第１の音声信号の一方におけるクロストークの可能性に関する情報を提供する。その結果、時間差の評価に基づく２つの第１の音声信号のうちの１つが、１つ以上の第１の音声信号として選択され、さらなる処理に使用され得る。

【0023】

上記の相関させるステップは、いくつかの実施例においては、スペクトログラムを取得するために、それぞれの２つの第１の音声信号に対して実行される短時間フーリエ変換（ＳＴＦＴ）を含むことができる。それぞれのスペクトログラムからクロススペクトルが導出され、取得されたクロススペクトルに前記フィルタが適用される。最終的にフィルタ済みの相関を取られた第１の音声信号を取得するために、逆短時間フーリエ変換（ＩＳＴＦＴ）が実行され、フィルタ済みの第１の音声信号が取得される。

【0024】

第２の音声信号を録音するマイクを専用の位置に配置することは、有用である。例えば、複数の第２の音声信号は４つの音声の音声信号を備えてもよく、これら４つの音声信号のうち２つの音声信号は最大空間距離１５ｃｍで録音される。この距離は、通常、同じ音源の直接音と反射音が同時に誤って録音されるのを避けるのに十分小さく、一方、過剰なアップサンプリングを採用することなく、第２の音声信号を第１の音声信号とクロス相関させる際に十分な差を提供するのに十分大きい。

【0025】

いくつかのさらなる態様は、移動音源の特定および処理に関する。移動音源は、ドップラーシフトによってＳＴＦＴに影響を与えるため、このような音源の特定は困難な場合がある。さらに、推定雑音が移動音源として特定されたり、異なる位置にある２つ以上の音源として特定されたりすることがある。このため、専用の基準点と１つ以上の音源との間の推定距離は、カルマンフィルタ（または推定雑音が非ガウス型である場合はパーティクルフィルタ）に供給されてもよい。

【0026】

いくつかのさらなる実施例では、１つ以上のプロセッサとメモリとを備えるコンピュータシステムが提供される。メモリは、１つ以上のプロセッサに結合され、１つ以上のプロセッサによって実行されると、１つ以上のプロセッサに上記提案された方法およびその様々なステップを実行させる命令を備える。同様に、先行する請求項のいずれかに係る方法を実行するためのコンピュータ実行可能命令を備える非一過性のコンピュータ可読記憶媒体を提供することができる。

【図面の簡単な説明】

【0027】

提案された原理に従ったさらなる態様および実施形態は、添付図面に関連して詳細に説明される様々な実施形態および実施例に関連して明らかになるであろう。

【0028】

【図1】図１は、音源の位置を決定するためのいくつかの処理ステップを示す、提案された方法の実施形態を示す。

【図2】図２は、フィルタ済みの相関信号を取得するためにスペクトルマスクを適用した周波数重み付け位相変換のステップを示す。

【図3】図３は、より複雑な音場シナリオを録音するために複数のマイクを使用した録音環境を例示する図である。

【図4】図４は、提案された原理のいくつかの態様に従った方法の処理フローを示す。

【発明を実施するための形態】

【0029】

以下の実施形態および実施例は、提案された原理による異なる態様およびそれらの組み合わせを開示している。実施形態および実施例は、必ずしも縮尺通りではない。同様に、個々の態様を強調するために、異なる要素を拡大または縮小して表示することもできる。図面に示した実施形態および実施例の個々の態様は、本発明による原理と矛盾することなく、これ以上説明することなく互いに組み合わせることができることは言うまでもない。いくつかの態様は、通常の構造または形態を示す。しかしながら、実際には、本発明の思想に矛盾することなく、理想的な形態からのわずかな相違や逸脱が生じ得ることに留意すべきである。

【0030】

さらに、個々の図や態様は、必ずしも正しい大きさで示されているわけではなく、個々の要素間の比率が本質的に正しい必要もない。いくつかの側面は、拡大表示することで強調されている。しかし、「上」、「上」「下」、「下」「大きい」、「小さい」などの用語は、図中の要素に関して正しく表現されている。従って、このような要素間の関係を図面に基づいて推測することは可能である。

【0031】

図３は、提案される原理に従った方法を用いた用途を示す。このシナリオは、シーンの音場を取得するために複数の音声信号を録音する典型的な録音セッションに対応する。本実施例では、自然人の発話録音を使用しているが、本方法および原理は、本明細書で開示する音声処理や自然人の位置の特定に限定されないことを理解されたい。むしろ、基準点に対する任意の専用の音源の位置の特定に使用できる。このシーンは、Ｐ１，Ｐ２として描かれた２つの音源を含み、この音源は、本実施形態では、少なくとも部分的に密閉された空間で会話をしている２人のそれぞれの人である。それぞれの人は、それぞれの身体に近接した位置に、それぞれマイクＭ１，Ｍ２を保持している。従って、マイクＭ１，Ｍ２はそれぞれの音源の位置にあることが連想できる。複数の第２のマイクＭ３，Ｍ４は位置Ｂ１に配置されている。位置Ｂ１は、基準点としても定義される。従って、人Ｐ１，Ｐ２は、それぞれ基準点Ｂ１に対して特定の距離と角度をもって配置され、また互いに間隔をおいて配置される。一方の側には壁Ｗがあり、それぞれの音源Ｐ１，Ｐ２の発話時に反射が発生する。

【0032】

マイクＭ１，Ｍ２，Ｍ３，Ｍ４は、互いに時間的に同期している、即ち、このシナリオにおける音の録音が共通の時間ベースを使用してなされる。会話を録音する際、マイクＭ１は、人Ｐ１の発話を録音し、若干の遅延を伴って人Ｐ２の発話も録音する。同様に、音速と人Ｐ１の基準点Ｂ１からの距離により、マイクＭ３，Ｍ４は、人Ｐ１，Ｐ２の発話を若干の遅延を伴って録音する。距離によって遅延は異なるが、いずれにせよ、音源からマイクＭ３，Ｍ４の一方への直接経路を、直接音と呼ぶ。

【0033】

ここで、単一の音源Ｐ１のみがあるものと仮定すると、直接音を使用して距離を、即ち、直接音を使用して基準点Ｂ１までの距離を、簡易に、即ち、マイクＭ１によって録音された音声信号とマイクＭ３，Ｍ４の１つによって録音された音声信号との間の時間遅延を測定し、音速を乗ずることによって、計算することができる。

【0034】

音速は温度に依存するため、温度センサＴ１がマイクＭ３，Ｍ４の近傍に配置され、気温を測定し、温度変化の影響を補正する。上記のシナリオは非常に簡易であり、現実のシナリオには適していない。例えば、壁Ｗが発話の一部を反射すると、それがマイクＭ１によって録音されるが、若干遅れてマイクＭ３，Ｍ４によっても録音される。マイクＭ４も発話を録音する。シナリオによっては、反射音は進行中の発話と重畳される。起こり得る構成的干渉やその他の影響により、間接的な反射音の録音は、直接音よりも高いレベルを備えることが起こり得る。さらに複雑なシナリオでは、２つ目の音源も同時に音声信号を提供するため、いくつかは、音源Ｐ１，Ｐ２から発生し、いくつかは、壁面反射音である、複数の異なる音声信号の重畳がもたらされる。

【0035】

本願は、それぞれの音源の基準点に対する位置を特定し、位置決めすることが可能になるような仕方で、録音された信号を処理することを目的とする。

【0036】

特定の位置情報を音源に関連付けるという問題に対処する別の用途は、バーチャルリアリティ（ＶＲ）アプリケーションの用途にある。このような用途には通常、仮想環境内の複数のオブジェクトを含む３６０°立体映像信号が含まれ、そのうちのいくつかは音に対応するオブジェクトに関連付けられている。

【0037】

これらの（視覚および音声の両方の）オブジェクトは、例えば双眼ヘッドフォンやステレオヘッドフォンをそれぞれ介してユーザに提示される。双眼ヘッドフォンは、（例えばＩＭＵ／加速度計を使用して）ユーザの頭の位置と向きを追跡できるため、ヘッドフォンとイヤホンにそれぞれ再生される映像と音声を適宜調整して、仮想現実の錯覚を維持することができる。例えば、ある瞬間には、３６０°の映像信号の一部のみがユーザに表示され、これは仮想環境におけるユーザの現在の視野に対応する。ユーザが動いたり頭を回転させたりすると、ユーザに表示される３６０°信号の一部が変化し、その動きによって仮想世界におけるユーザの視界がどのように変化するかを反映する。同様に、ユーザが動くと、仮想シーン内の異なる位置から発せられる音には、左右のヘッドフォンチャンネルの適応フィルタリングが適用され、耳と人間の頭部との間の空間的オフセットや上半身の散乱に起因する、実生活で発生する音の周波数依存の位相と振幅の変化をシミュレートすることができる。

【0038】

ＶＲ作品の中には、コンピュータで生成された画像と、予め録音されたまたは合成された音のみで構成されているものもある。しかし、３６０°の視野を録音できるカメラと、音場を捉える複数のマイクを使用して、「実写」のＶＲ録画を制作することがますます一般的になってきている。マイクから録音された音は、提案された原理に従った方法で処理され、映像信号と整列され、上述のようにヘッドフォンやイヤホンで再生可能なＶＲ録音が生成される。

【0039】

特定の位置情報を音源に関連付けるという問題に対処する別の用途は、次世代オーディオ（ＮＧＡ）の用途にある。このような用途は、通常、位置などのメタデータを持つ音声オブジェクトを含む。

【0040】

これらの（視覚と音声の両方の）オブジェクトは、例えばバイノーラルレンダリングのヘッドトラックステレオヘッドフォンを介してユーザに提示される。このようなヘッドフォンは、双眼ヘッドセットとして、（例えばＩＭＵ／加速度計を使用して）ユーザの頭の向きを追跡することができるため、ヘッドフォンに再生される音声は、音声に没入しているような錯覚を維持するために適宜調整することができる。例えば、ユーザが頭を動かしたり回転させたりすると、仮想シーン内の異なる位置から発せられる音、またはこの技術革新を使用して録音されたシーンは、左右のヘッドフォンチャンネルの適応フィルタリングを受け、耳と人間の頭の間の空間的オフセットや上半身の散乱に起因する、実生活で発生する音の周波数依存の位相と振幅の変化をシミュレートすることができる。

【0041】

次に、提案された原理に従った方法の様々なブロックを示す図１を参照する。簡単のため、本方法は前述の図３のシナリオを用いて説明される。本方法は、予め録音された音声信号の後処理に適しているが、例えば、オーディオ会議やライブイベントなど間の、リアルタイム音声信号の後処理にも適している。本方法は、ブロックＢＭ１，ＢＭ２に、それぞれ１つ以上の第１の音声信号および複数の第２の音声信号を提供することから始まる。録音された音声信号は、好ましくは、同じサンプル周波数を含む同じデジタル分解能（例えば、９６ｋＨｚで１４ｂｉｔ）を備える。異なる分解能やサンプリング周波数が使用される場合、様々な音声信号を再サンプリングして同じ分解能やサンプリング周波数の信号を取得することが望ましい。

【0042】

要素３’，Ｒ１，３０Ａ，３１を含む画像の上部は、２つ以上の第１の音声信号、すなわち、位置が決定されるべきマイクによって録音される音声信号である音声信号の間で起こり得るクロストークの特定に関係する。前述したように、ブロックＢＭ１では、反射音だけでなく直接音も２つのマイクによって録音される。２つ以上のマイクのいずれが実際にそれぞれの音源に位置するかを決定するために、２つのマイクによって録音された信号は、フィルタ処理され、クロス相関の時間差を取得するためにクロス相関処理される。

【0043】

この目的のために、両信号は周波数重み付き位相変換を用いて処理される。最初のステップでは、それぞれの信号を周波数領域に変換し、ＳＴＦＴを使用して時間－周波数スペクトルを取得する。スペクトルマスクのフィルタは、まず、ｌをマイクからの音声信号、ｋを音声信号のそれぞれのフレームとして、滑らかなパワースペクトルＳ（ｌ，ｋ）を生成することによってスペクトルから導出される。それぞれの周波数ビンに対して、１次フィルタが前のフレームに基づいて現在のフレームの雑音ｎ（ｌ，ｋ）を推定する。全体の雑音ｎ（ｌ，ｋ）は次式で与えられる。
ｎ（ｌ，ｋ）＝（１－α）ｌｏｇ（Ｓ（ｌ，ｋ））＋（ｎ（ｌ，ｋ－１））^α
ここで、αは、Ｓ（ｌ，ｋ）＜ｌｏｇ（ｎ（ｌ，ｋ－１））に依存して異なる。したがって、フィルタマスクは、ＳＮＲがある閾値以上の場合に１となり、そうでない場合は０となる。結果は、２つの第１の信号のそれぞれに関連付けられた、異なるフィルタマスクとなる。次のステップでは、第１の信号の２つのペアをクロス相関させ、クロス相関の結果を正規化することにより、クロススペクトルが生成される。次に、それぞれの推定フィルタが正規化されたクロススペクトルに適用され、逆ＳＴＦＴが実行されて、フィルタ済みの相関信号が取得される（符号３１参照）。この際、Ｒ_ｘｙのクロススペクトルには（信号ｘの）フィルタＦｘを使用し、Ｒ_ｙｘのクロススペクトルには（信号ｙの）フィルタＦｙを使用することに注意すべきである。フィルタ済みの相関信号は、第１の音声信号を録音している両方のマイクにおける直接音の符号付き時間差または遅延を推定するために使用される。ブロック３１で示される符号、すなわちｄｔ＞０またはｄｔ＜０は、どちらのマイクが実際の音源に近いかという情報を提供する。その結果、このマイク（および音声信号）は、それぞれの音源および対応するフィルタマスクに関連付けられる。

【0044】

それぞれの音源に対する音声信号の関連付けが定義されている場合、すなわち、１つの第１の信号だけが録音される場合、上述のステップは省略することができる。図３に戻ると、下部に図示されたブロック３、Ｒ２から３５は、基準点までの距離と角度を推定する様々なステップを説明する。ブロックＢＭ３には、基準点に対して位置が固定された１つ以上の第２のマイクによって録音された複数の第２の音声信号が含まれる。第２のマイクのそれぞれの位置は、後で角度を取得することができるように若干異なるが、壁からの反射などの影響が判定され、フィルタされることができる程度に近い。本実施例では、４つの異なる第２の音声信号が存在し、それぞれ異なる第２のマイクで録音されている。ここでの処理は、２つ以上の第１の音声信号の処理で説明したのと同様である。ただし、ブロック３では、第１の音声信号（距離と角度が決定される音声信号）は、ここでは４つの第２の音声信号の少なくとも１つとクロス相関される。ブロック３は、第２の音声信号のそれぞれに実行され、全体として４つのフィルタ済みのクロス相関信号が提供されることができる。例えば、符号Ｒ２を参照されたい。

【0045】

図２は、例示的な実施形態における周波数重み付き位相変換を示す。２つの入力信号は、ＳＦＴＦを使用して周波数領域に変換され、それからクロススペクトルが導出される。スペクトルを正規化した後、前に推定されたフィルタ（この場合、第１の音声信号に関連するスペクトルマスクのフィルタ）が適用される。その結果は、逆ＳＦＴＦを用いて時間領域に変換される。

【0046】

ブロック３０Ｂと３０Ａの時間遅延は、まず周波数重み付けされたＰＨＡＴの信号が無相関であった場合にピークが有する最大値を特定することによって推定される。この目的のために、雑音の分散は、ｓｉｇｍａ＝ｍｅａｎ（ｍａｓｋ）／ｆｒａｍｅｓｉｚｅで与えられ、雑音の最大値は、ｓｑｒｔ（ｓｉｇｍａ＊２＊ｌｎ（ｆｒａｍｅｓｉｚｅ））で導出される。次に、周波数重み付けされたＰＨＡＴの中で、この最大値を超える最初の値（いくらかのヘッドルームのためのスケールを含むことが可能）を探索し、その最初の値に近い局所的な最大値を再探索する。最大値の位置は、直接音のタイムオブフライト（ｎ＿ｍａｘ／サンプリング周波数）に対応する。次に、距離は、音速の温度依存性を考慮した音速を乗じたタイムオブフライトによって与えられる。ブロック３０Ｂの処理は、クロススペクトルのそれぞれについて繰り返される。ブロック３１では、タイムオブフライトの推定値の集合の平均を用いて、様々な結果がさらに処理される。次に、ブロック３３でこの推定値から距離が差し引かれる。

【0047】

音源と基準点の間の角度を取得するために、ブロックＲ３、３０Ｃ、および３４から３６が使用される。室内反射の影響を避けるため、ブロックＲ２では、第１のフィルタ済みの相関信号のＦＷ－ＰＨＡＴの結果を切り詰めるために窓関数が使用される。図Ｒ２に示されるように、窓関数は第２のマイクの間の距離に依存する幅を備える。第２の音声信号を録音する第２のマイクはわずかに離れているため、音源とそれぞれの第２のマイク間の推定距離も変化する可能性がある。第１のフィルタ済みの相関信号を切り詰めるための窓関数の幅は、第２のマイク間のタイムオブフライトの最大値に実質的に比例する。ここで切り詰められたフィルタ済みの相関信号の集合は、アップサンプリングされ、時間分解能が向上し、角度がより正確に推定される。続いて、アップサンプリングされた切り詰められた第１の信号のペアの間のクロス相関が計算される。その結果、合計６つの結果を受け取ることになる（４つの切り詰められた信号が６つの異なるペアをもたらす）。

【0048】

アップサンプリングされた切り詰められた第１の信号のペアのクロス相関の最大値の位置は、それぞれの第２のマイクへの第１の信号の到達時間差に対応する。到達時間差は、第２のマイクの基準点に対する位置に関する知識を利用して入射角にマッピングされる。つまり、クロス相関を時間領域ではなく球状空間領域に投影することができる。ブロック３４のアプローチは、ＳＲＰ－ＰＨＡＴアプローチにおけるステアードレスポンスステップと同様であり、６組のクロス相関がＰＨＡＴに対応する。投影された推定値は単純に合計され、ブロック３５で最大値の探索が行われる。最大値の位置は、到来角に対応する。

【0049】

図４は、提案された原理に従って距離と角度を決定する方法の処理フローを示している。この方法は、リアルタイム処理だけでなく、音場を形成する複数の以前に録音された音声信号を処理するオフライン処理にも適している。

【0050】

この方法は、ステップＳ１において、基準点までの距離と角度を決定する必要がある音源で録音された第１の音声信号を取得することを含む。複数の第２の音声信号は、基準点の近傍か、少なくとも基準点に対して既知の位置または場所において録音される。第１の音声信号と複数の第２の音声信号は、時間的に同期している。このような時間的な同期は、録音セッション中にすべての音声信号を共通の時間ベースに対して参照することで達成できる。

【0051】

その後、ステップＳ３において、様々な信号が任意選択で前処理される。例えば、録音された音声信号に対して雑音除去や等化を行い、後続の処理ステップでの結果を改善することができる。ただし、信号のタイミングを乱さないように注意する必要がある。また、いくつかの実施例においては、前処理ステップＳ３の間に、録音声信号の位相情報を保持する方法を適用することも有効である。さらに、第１の音声信号とそれぞれの第２の音声信号に対してＳＴＦＴが実行される。

【0052】

本実施例では、単一の音源に関連する単一の第１の音声信号のみが存在する。第１の音声信号は、ステップＳ４でフィルタ、特にスペクトルマスクのフィルタを推定することによって処理される。このフィルタは、時間領域における第１の音声信号のそれぞれの周波数の信号対雑音比に作用する。結果として得られるスペクトルマスクは、それぞれの周波数ビンに対して「１」と「０」の集合を含む。

【0053】

ステップＳ５では、第１の音声信号を複数の第２の音声信号の少なくとも１つと周波数領域で相関させ、少なくとも１つの相関信号が取得される。このステップＳ５を繰り返して、第１の音声信号とそれぞれの第２の音声信号とをクロス相関させることができる。クロス相関は、ステップＳ４で推定されたフィルタを適用する前に正規化され、１つ以上のフィルタ済みの相関信号が取得される。

【0054】

ここまでは、距離や角度を決定するステップは、同様である。

【0055】

ここで、基準点と音源との間の距離の決定と、ステップＳ６からステップＳ８とを続ける。ステップＳ６は、少なくとも１つのフィルタ済みの相関信号において、時間領域において専用の閾値を超える第１のタイミング値を取得することを含む。次に、ステップＳ７において、第１のタイミング値に基づいて、少なくとも１つのフィルタ済みの相関信号における閾値に対応する第２のタイミング値を取得する。ステップＳ６及びＳ７の両方は、ＰＨＡＴ信号（すなわち、フィルタ済みの相関信号）における最大値の前述された探索を使用してもよい。専用の基準点と音源との間の距離は、ステップＳ８においてそれぞれ取得された第１のタイミング値および第２のタイミング値に基づく。さらに、空気の温度を考慮することもできる。予め録音された信号の場合、この情報は記憶され、音速に影響する温度の影響を補正するためにＳ９で使用される。

【0056】

音源の基準点からの角度を導出および推定するために、ステップＳ１０からＳ１３が実行される。この目的のために、ステップＳ５を複数回実行し、第１の音声信号とそれぞれの第２の音声信号のクロス相関を取得する。ステップＳ１０では、ＰＨＡＴ信号に窓関数を適用することによって、クロス相関したＰＨＡＴ信号を切り詰める。窓関数は、第２の音源の間の最大タイムオブフライトに比例する幅を伴い、タイムオブフライトに対応するピークを中心とする。ステップＳ１０で切り詰め窓を適用することで、物体への音の反射やその他の間接的な音経路に起因する信号の部分が除去される。

【0057】

次に、切り詰められた相関信号のペアが選択され、ステップ１１で選択されたペアにクロス相関が適用される。２つの第２の音源を伴う最も単純な形態において、ステップＳ１１のクロス相関が選択される単一のペアがある。複数の第２の音源が録音されるより複雑なシナリオでは、いくつかのペアを選択することができる。一般に、選択されるペアの数が多いほど、起こりうる揺らぎや統計誤差が互いに相殺される可能性があるため、より正確な判定が提供されると考えることができる。したがって、ステップ１１の結果は、１つ以上のクロス相関信号である。これらの信号はステップＳ１２でアップサンプリングされ、角度の決定の精度に影響を与えるより細かいタイミング分解能を提供する。

【0058】

ステップＳ１１およびＳ１２におけるクロス相関信号は、それぞれ、以前の切り詰めのため、通常、１つの関連性のみを有する１つ以上の極大値を備える。切り詰められた相関信号のペアのクロス相関（またはＳＲＰ－ＰＨＡＴではＰＨＡＴ）のこの最大値の位置は、複数の第２の音声信号を録音するマイク要素の間の到達時間差に対応する。

【0059】

到達時間差は、第２の音声信号を録音するマイクの位置に関する知識を利用して、入射角にマッピングすることができる。つまり、時間領域ではなく、球状空間にクロス相関を投影することができる。この投影は、すべての第２のペアのすべてのクロス相関の推定値に対して行われる。投影された推定値は単純に合計され、最大値の探索が行われる。最大値の位置は、到来角に対応する。

【0060】

さらに１つの態様は、時間に亘って動いている音声信号の処理に関する。例えば、複数の第１のマイクが存在する場合、現在活動中の話者とそれに関連する第１のマイクを特定するための活動中の話者の検出アルゴリズムを使用することができる。動いている音声信号に対しては、動的モデルとカルマンフィルタリングを用いて、異なる時間における音源の位置を推定することができる。カルマンフィルタは、システムの推定状態と推定値の分散または不確実性を追跡する。推定値は、状態遷移モデルと測定値を用いて更新される。

【図1】