特開 2019-41405 改良された復元のために音声信号を処理するための方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2019-41405(P2019-41405A)

(43)【公開日】2019年3月14日

(54)【発明の名称】改良された復元のために音声信号を処理するための方法

(51)【国際特許分類】

   H04S 7/00 20060101AFI20190215BHJP

【ＦＩ】

   H04S7/00 300

【審査請求】有

【請求項の数】2

【出願形態】ＯＬ

【全頁数】8

(21)【出願番号】特願2018-210220(P2018-210220)

(22)【出願日】2018年11月8日

(62)【分割の表示】特願2014-515267(P2014-515267)の分割

【原出願日】2012年6月15日

(31)【優先権主張番号】1101882

(32)【優先日】2011年6月16日

(33)【優先権主張国】FR

(71)【出願人】

【識別番号】518212193

【氏名又は名称】エイエックスディ テクノロジーズ エルエルシー

【氏名又は名称原語表記】ＡＸＤ Ｔｅｃｈｎｏｌｏｇｉｅｓ， ＬＬＣ

(74)【代理人】

【識別番号】100116322

【弁理士】

【氏名又は名称】桑垣 衛

(72)【発明者】

【氏名】オーレーズ、ジャン−リュック

(72)【発明者】

【氏名】ロセット、フランク

【テーマコード（参考）】

5D162

【Ｆターム（参考）】

5D162AA02

5D162CB11

5D162CD14

5D162CD21

5D162DA22

5D162EG02

(57)【要約】

【課題】改良された復元のために音声信号を処理するための方法を提供する。
【解決手段】Ｎ．ｘチャネルの元の音声信号を処理するための方法において、Ｎは１よりも大きく、ｘは０以上であり、前記方法は、事前定義のインプリントを用いてマルチチャネルのたたみ込みを行うことによって入力音声信号のマルチチャネル処理を行う工程であって、前記インプリントは、リファレンス空間に配置された一組のエンクロージャによるリファレンスサウンドのキャプチャから生成される、前記工程を備え、異なるサウンドコンテキストにおいて以前に生成された複数のインプリントから１つ以上のインプリントを選択する工程をさらに備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

Ｎ．ｘチャネルの元の音声信号を処理するための方法において、Ｎは１よりも大きく、ｘは０以上であり、前記方法は、
事前定義のインプリントを用いてマルチチャネルのたたみ込みを行うことによって入力音声信号のマルチチャネル処理を行う工程であって、前記インプリントは、リファレンス空間に配置された一組のスピーカによるリファレンスサウンドのキャプチャから生成される、前記工程を備え、
異なるサウンドコンテキストにおいて以前に生成された複数のインプリントから１つ以上のインプリントを選択する工程をさらに備える、方法。

【請求項2】

以前に生成された１つ以上のインプリントを処理することによって新たなインプリントを作成する工程を含む、請求項１に記載の方法。

【請求項3】

Ｎ．ｘチャネルを組み合わせ直すことによってＭ．ｙチャネルの出力信号を形成するように処理する工程をさらに備え、Ｎ．ｘはＭ．ｙと異なっており、Ｍは１よりも大きく、ｙは０以上である、請求項１又は２に記載の方法。

【請求項4】

サウンド信号の中央配置時に、仮想的な中央のフロントスピーカの存在感の程度を一時的に上昇させる工程を含む、請求項１又は２に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、改良された音響アンビエンス（ａｍｂｉａｎｃｅ）（特にヘッドホンを用いた聴取用の）を創出するための音声信号処理の分野に関する。

【背景技術】

【0002】

音響シーケンスの復元を仮想化するための方法及びシステムについて記載する特許文献１が先行技術では知られている。この既知の解決策によると、聴取者は、現実のラウドスピーカのそれと区別の困難なレベルの現実感を有するヘッドホンによって、仮想的なラウドスピーカの音を聴取することが可能である。このラウドスピーカの音響源として、聴取者の頭部の限られた数の位置を利用して複数組の個別化（パーソナライズ）された空間パルス応答（ＰＳＰＲ）が取得される。この個別化された空間パルス応答は、ラウドスピーカ用として意図された音声信号をヘッドホン用の仮想化された出力へと変換するべく使用される。このシステムは、聴取者の頭の姿勢に基づいて変換を調整することによって、聴取者が頭を動かしたときに、この仮想ラウドスピーカを動いていないように感じさせることが可能である。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】国際公開第２００６／０２４８５０号

【発明の概要】

【発明が解決しようとする課題】

【0004】

先行技術において提案されている解決策では、リファレンスサウンドアンビエンスを個別化することは可能とならず、リストアされるシーケンスの型に関してサウンドアンビエンスの型を修正することは可能でないので、その解決策は十分に満足のいくものではない。

【0005】

さらに、先行技術の解決策では、大きなコンピュータリソースを必要とする高価なコンピュータ処理動作を使用しており、サウンドインプリント（ｅｍｐｒｅｉｎｔｅ）の取込み（キャプチャ）に相当な時間を要する。さらに、この既知の解決策では、ステレオ信号をＮチャネルに分割できず、開始時に存在しないチャネルは生成されない。

【課題を解決するための手段】

【0006】

本発明は、この問題に対する解決策を提供することを目的とする。特に、本発明の主題である方法は、ステレオファイルを使用するか又はマルチチャネルファイルを使用して２Ｄサウンドを３Ｄサウンドに変換し、仮想化によって３Ｄのステレオ音声を生成することを可能とするので、特定のサウンドコンテキストを選択することが可能である。

【0007】

この目的を達成するため、本発明は、本発明の最も一般的な意味において、Ｎ．ｘチャネルの元の音声信号を処理するための方法において、Ｎは１よりも大きく、ｘは０以上であり、前記方法は、事前定義のインプリントを用いてマルチチャネルのたたみ込みを行うことによって入力音声信号のマルチチャネル処理を行う工程であって、前記インプリントは、リファレンス空間に配置された一組のスピーカによるリファレンスサウンドのキャプチャから生成される、前記工程を備え、異なるサウンドコンテキストにおいて以前に生成された複数のインプリントから１つ以上のインプリントを選択する工程をさらに備える、方法に関する。

【0008】

この解決策は、周波数フィルタリングと、中央チャネルを生成するための左チャネルと右チャネルとの間の差分と、位相差分とに基づいて、各仮想スピーカがステレオファイルである複数のステレオチャネルをステレオ信号から作成することが可能である。

【0009】

この解決策によって、各仮想チャネルに異なるインプリントを適用することが可能となり、また各仮想スピーカの３Ｄのインプリントを維持しつつチャネルを組み合せ直すことによって新たな最終のステレオ音声ファイルを作成することが可能となる。

【0010】

有利には、本発明による方法は、以前に生成された１つ以上のインプリントを処理することによって新たなインプリントを作成する工程を含む。
変形例によると、その方法は、Ｎ．ｘチャネルを組み合わせ直すことによってＭ．ｙチャネルの出力信号を形成するように処理する工程をさらに備え、Ｎ．ｘはＭ．ｙと異なっており、Ｍは１よりも大きく、ｙは０以上である。

【図面の簡単な説明】

【0011】

【図1】ＩＲの作成、最適化、及び処理を示す図。

【図2】アンプ、ステレオマイク、及びサブを示す図。

【図3】サブを示す図。

【発明を実施するための形態】

【0012】

本発明は以下で非限定的に説明される。本発明による方法は次の連続した工程に分割できる。
・複数の一連のサウンドインプリントの作成
・インプリントのライブラリを組み合わせることによる一連の仮想化されたインプリントの作成
・元のサウンド信号のトラックと、一連の仮想化されたインプリントとの関連付け
１‐インプリントの作成
信号の取得
サウンドインプリントの作成は、定義された環境（例えば、コンサート会場、ホール、又はさらには自然の空間（洞窟、オープンスペース等））に、Ｎ×Ｍサウンドポイントにより編成される一組の音響インプリントを配置することからなる。例えば、既知の方法でリファレンスサウンド信号をリストアする、単純な一対の“右−左”のスピーカ、又は一組の５．１，７．１，１１．１のスピーカである。

【0013】

一対のマイクロホン又はＨＲＴＦの多方向キャプチャマイクロホンが、例えば模擬的な頭部に配置され、対象の環境におけるスピーカの復元が取り込まれる。一対のマイクロホンによって形成される信号は、高周波数のサンプリング後に記録される（例えば１９２ｋＨｚ、２４ビット）。

【0014】

このデジタル記録によって、所与のサウンド環境を表現する信号のキャプチャが可能になる。
この工程は、スピーカによって形成されるサウンド信号のキャプチャに限定されない。キャプチャは、模擬的な頭部に配置されたヘッドホンによって形成される信号からも行われ得る。この取合せによって、所与のヘッドホンのサウンドアンビエンスを、別の一組のヘッドホンにおける復元の時に再現することが可能になる。

【0015】

２‐インプリントの計算
次にこの信号は、同じ条件下でデジタル化されてスピーカに対して適用されたリファレンス信号と、マイクロホンによって取込まれた信号との間の差分を適用することを含む処理に供される。リファレンス信号を生成すべく使用された各スピーカについての“ＩＲ−インパルス応答”の型である信号を形成するために、一方で各スピーカに適用されるリファレンス信号の．ｖａｗ又は音声のファイルと、他方で取込まれる信号の．ｖａｗ又は音声のファイルとを入力としてそれぞれ受信するコンピュータによって、その差分は生成される。取込まれる各スピーカの各入力信号に対して、その処理は適用される。

【0016】

この処理は、取込まれる各スピーカの各入力信号に対して適用される。
この処理は一組のファイルを形成し、各ファイルは定義された環境における複数のスピーカのうちの一つのスピーカのインプリントに対応する。

【0017】

インプリントのファミリの生成
前述した工程は、様々なサウンド環境、様々なスピーカレイアウト、又はその両方に対して繰り返される。新たなサウンドアラインメントを表現する新たな一連のインプリントを形成するために、各新たな配置に対して、取得及びその次の処理の工程が実行される。

【0018】

このようにして、所与の既知のサウンド環境を表現する一連のサウンドインプリントのライブラリが構築される。
仮想環境の創出
前述した取得工程中にサウンド環境においてスピーカが欠けている領域を減少させるために、複数の一連のインプリントを組み合わせることと、その選択されたインプリントに対応するファイルを追加することとによって、仮想環境を表現する新たな一連のインプリントを形成するべく、前述したライブラリは使用される。

【0019】

仮想環境を創出するこの工程によって、所与の記録に対しての適用により得られるサウンドの一貫性（コヒーレンス）及びダイナミックレンジの改良（特に、より良く３次元的にサウンド空間を占めることにより）が可能になる。

【0020】

これは、非常に多数のスピーカによる模擬環境を使用することに等しい。
この工程によって、新たな仮想化されたホールのインプリントが得られ、そのインプリントは、演出を改良するためにサウンドシーケンスに適用され得る。

【0021】

サウンドシーケンスの処理
次に既知の音声シーケンスが選ばれ、同じプリファレンス条件に対してサンプリングがされる。

【0022】

これができない場合には、処理される音声信号の周波数及びサンプリングへと周波数及びサンプリングを減少させるように、仮想のインプリントの適合がされる。
既知の信号は、例えばステレオ信号である。それは、周波数チョッピングと、右の信号と左の信号との位相の違いに基づくチョッピングの対象である。

【0023】

この信号から、これらのチョッピングの組合せに対して仮想のインプリントのうちの一つを適用することによって、Ｎトラックが抽出される。
したがって、Ｎ×Ｍトラックを作成するために（ＮとＭは必ずしも、インプリント作成工程中に使用されたチャネルの数とは限らない）、複数のチョッピングについての結果を組み合わせることと、インプリントのうちの一つを各トラックに適用することとによって、可変の数のトラックの形成が可能となる。例えば、よりダイナミックな復元のためにより多くの数のトラックを生成することや、例えばヘッドホンによる復元のためにより少ない数のトラックを生成することが可能になる。

【0024】

この工程によって、標準的な設備における復元を行う場合と互換性を持たせるために従来のステレオ信号へと次に変換される連続した音声信号が得られる。
予想されるように、信号の位相回転等の処理動作を適用することも可能である。

【0025】

サウンドシーケンスの処理の工程は、任意の瞬間にブロードキャストされ得る記録を形成するために、遅延モードにおいて実行され得る。
サウンドシーケンスの処理の工程は、音声ストリームが形成される時に音声ストリームを処理するためにリアルタイムにおいても実行され得る。この取合せは、ストリーミングにおいて取得されたサウンドを、より良いダイナミックレンジを有する復元のための豊富な音声サウンドへとリアルタイムに変換する場合に特に適している。

【0026】

取合せの使用によると、処理によって、中央のサウンド信号について疑義を除去することを形成する信号を形成することが可能となり、その信号はフロントにおける信号であるにもかかわらず、その信号を人間の頭脳は誤解によって後ろにおける信号と“想像”し得る。この目的のため、頭脳が再調整されることを可能とすべく、水平方向の運動が実行され、次に再び中央に配置される。この工程は、中央のフロントの仮想スピーカの程度又は存在感をやや上昇させることを含む。

【0027】

音声信号が主に中央に存在する場合は常にこの工程が適用され、その場合は音楽の記録の“声”パートに頻繁に該当する。この存在感を上昇させる処理は一時的に適用され、好ましくは、中央の音声シーケンスが現れるときに適用される。

【図1】

【図2】

【図3】

【手続補正書】

【提出日】2018年11月19日

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

Ｎ．ｘチャネルの音声信号を処理するための方法において、Ｎは１よりも大きく、ｘは０以上であり、前記方法は、
事前定義のインプリントを用いてマルチチャネルのたたみ込みを行うことによって音声信号の処理を行う工程であって、前記事前定義のインプリントは、リファレンス空間に配置された一組のスピーカによるリファレンスサウンドのキャプチャから生成される、前記工程を備え、
前記方法は、
異なる複数のサウンドコンテキストにおいて以前に生成された複数のインプリントから２つ以上のインプリントを選択する工程と、
異なる複数のサウンドコンテキストにおいて生成され、選択された前記２つ以上のインプリントを組み合わせることにより、仮想環境を表現する新たなインプリントを形成する工程と、をさらに備える、方法。

【請求項2】

Ｎ．ｘチャネルを組み合わせ直すことによってＭ．ｙチャネルの出力信号を形成するように処理する工程をさらに備え、Ｎ．ｘはＭ．ｙと異なっており、Ｍは１よりも大きく、ｙは０以上である、請求項１に記載の方法。