特許 5662318 両耳間時間遅延復元システム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5662318

(24)【登録日】2014年12月12日

(45)【発行日】2015年1月28日

(54)【発明の名称】両耳間時間遅延復元システム及び方法

(51)【国際特許分類】

   H04S 5/02 20060101AFI20150108BHJP

【ＦＩ】

   H04S5/02 D

【請求項の数】21

【全頁数】13

(21)【出願番号】特願2011-526031(P2011-526031)

(86)(22)【出願日】2009年8月14日

(65)【公表番号】特表2012-502550(P2012-502550A)

(43)【公表日】2012年1月26日

(86)【国際出願番号】US2009004673

(87)【国際公開番号】WO2010027403

(87)【国際公開日】20100311

【審査請求日】2012年7月10日

(31)【優先権主張番号】12/204,471

(32)【優先日】2008年9月4日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】503206684

【氏名又は名称】ディーティーエス・インコーポレイテッド

【氏名又は名称原語表記】ＤＴＳ，Ｉｎｃ．

(74)【代理人】

【識別番号】100092093

【弁理士】

【氏名又は名称】辻居 幸一

(74)【代理人】

【識別番号】100082005

【弁理士】

【氏名又は名称】熊倉 禎男

(74)【代理人】

【識別番号】100067013

【弁理士】

【氏名又は名称】大塚 文昭

(74)【代理人】

【識別番号】100086771

【弁理士】

【氏名又は名称】西島 孝喜

(74)【代理人】

【識別番号】100109070

【弁理士】

【氏名又は名称】須田 洋之

(74)【代理人】

【識別番号】100109335

【弁理士】

【氏名又は名称】上杉 浩

(72)【発明者】

【氏名】ジョンストン ジェイムズ ディー

【審査官】 菊池 充

(56)【参考文献】

【文献】 特開平０５−０２２７９８（ＪＰ，Ａ）

【文献】 特開平０６−０５１７５９（ＪＰ，Ａ）

【文献】 米国特許第０７０２７６０１（ＵＳ，Ｂ１）

【文献】 特開２００１−１００７７４（ＪＰ，Ａ）

【文献】 特表２００５−５２３６２４（ＪＰ，Ａ）

【文献】 特表２００８−５０９６００（ＪＰ，Ａ）

【文献】 特開平０６−１７８３９９（ＪＰ，Ａ）

【文献】 国際公開第２００８／０３９０４２（ＷＯ，Ａ１）

【文献】 特開２００５−２２３９３５（ＪＰ，Ａ）

【文献】 特開２００１−３４３９９７（ＪＰ，Ａ）

【文献】 特開平１０−１２６８９８（ＪＰ，Ａ）

【文献】 特開平０８−２３７７９０（ＪＰ，Ａ）

【文献】 特表２００５−５２３４７９（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｓ １／００− ７／００

Ｇ１０Ｌ １９／００−２１／１８

(57)【特許請求の範囲】

【請求項1】

オーディオデータを処理するための装置であって、
左チャネルオーディオデータ及び右チャネルオーディオデータを受け取って両耳間時間遅延補正因子を生成するための両耳間時間遅延補正因子ユニットと、
前記左チャネルオーディオデータ及び前記右チャネルオーディオデータ間に時間差が存在しない、かつ、前記左チャネルオーディオデータ及び前記右チャネルオーディオデータ間にレベル差が存在する場合、前記左チャネル及び前記右チャネル間に両耳間時間遅延を挿入することによって、前記左チャネルオーディオデータ及び前記右チャネルオーディオデータを前記両耳間時間遅延補正因子の関数として修正するための両耳間時間遅延補正因子挿入ユニットと、
を備えることを特徴とする装置。

【請求項2】

前記両耳間時間遅延補正因子ユニットが、オーディオデータチャネルを受け取って所定の周波数帯域の時間の関数としての振幅エンベロープを生成するための低遅延フィルタバンクを備える、
ことを特徴とする請求項１に記載の装置。

【請求項3】

前記両耳間時間遅延補正因子ユニットが、オーディオデータチャネルを受け取ってピーク振幅値及び関連する所定の周波数帯域の時間を生成するためのピーク検出器を備える、
ことを特徴とする請求項１に記載の装置。

【請求項4】

前記両耳間時間遅延補正因子ユニットが、ピーク振幅値及び関連する所定の周波数帯域の前記左チャネルオーディオデータ及び前記右チャネルオーディオデータの各々の時間を受け取って両耳間差補正データを生成するための時間差検出器を備える、
ことを特徴とする請求項１に記載の装置。

【請求項5】

前記両耳間時間遅延補正因子ユニットが、前記両耳間差補正データを受け取って前記両耳間時間遅延補正因子挿入ユニットの時間補正因子を生成するための両耳間時間差補正ユニットを備える、
ことを特徴とする請求項４に記載の装置。

【請求項6】

前記両耳間時間遅延補正因子挿入ユニットが、オーディオデータチャネルを前記両耳間時間遅延補正因子ユニットの遅延に関する量だけ遅延させるための遅延ユニットを備える、
ことを特徴とする請求項１に記載の装置。

【請求項7】

前記両耳間時間遅延補正因子挿入ユニットが、オーディオデータチャネルを受け取って該オーディオデータチャネルにハン窓を適用するためのハン窓ユニットを備える、
ことを特徴とする請求項１に記載の装置。

【請求項8】

前記両耳間時間遅延補正因子挿入ユニットが、複数の周波数領域オーディオチャネル信号に位相シフトを挿入するための位相シフト挿入ユニットを備える、
ことを特徴とする請求項１に記載の装置。

【請求項9】

オーディオデータを処理する方法であって、
左チャネルオーディオデータ及び右チャネルオーディオデータの各々のピーク振幅を求めるステップと、
前記ピーク振幅に関連する遅延を検出するステップと、
前記検出した遅延が閾値未満である場合、かつ、前記左チャネルオーディオデータ及び前記右チャネルオーディオデータ間にレベル差が存在する場合、前記左チャネルオーディオデータ及び前記右チャネルオーディオデータ間に遅延を挿入するステップと、
を含むことを特徴とする方法。

【請求項10】

前記左チャネルオーディオデータ及び前記右チャネルオーディオデータの各々の前記振幅エンベロープを決定するステップが、前記左チャネルオーディオデータ及び前記右チャネルオーディオデータの各々の所定の周波数帯域の振幅エンベロープを決定するステップを含む、
ことを特徴とする請求項９に記載の方法。

【請求項11】

前記左チャネルオーディオデータ及び前記右チャネルオーディオデータの各々の前記振幅エンベロープを決定するステップが、ヒルベルトエンベロープユニットを使用して前記左チャネルオーディオデータ及び前記右チャネルオーディオデータの各々の所定の周波数帯域を処理するステップを含む、
ことを特徴とする請求項９に記載の方法。

【請求項12】

個々の振幅エンベロープの前記ピークに関連する前記遅延を検出するステップが、１つのチャネルのピーク振幅に関連する時間を第２のチャネルのピーク振幅に関連する時間と比較するステップを含む、
ことを特徴とする請求項９に記載の方法。

【請求項13】

挿入する遅延を前記ピーク振幅に基づいて生成するステップをさらに含む、
ことを特徴とする請求項９に記載の方法。

【請求項14】

挿入する遅延を前記ピーク振幅に基づいて生成するステップが、出力を度数で生成する２変数逆正接関数をａｔａｎ２、第１のピーク振幅の値をｐｅａｋ１、第２のピーク振幅の値をｐｅａｋ２としたときに、前記挿入する遅延を、ａｔａｎ２（ｐｅａｋ１，ｐｅａｋ２）−４５°を求めることにより生成するステップを含む、
ことを特徴とする請求項９に記載の方法。

【請求項15】

前記検出した遅延が前記閾値未満である場合、２又はそれ以上の前記オーディオデータチャネル間に前記遅延を挿入するステップが、
前記オーディオデータチャネルを時間領域から周波数領域に変換するステップと、
前記挿入する遅延を位相シフト値に変換するステップと、
前記周波数領域内の第１のオーディオデータチャネルに前記位相シフト値の第１の部分を加算するステップと、
前記周波数領域内の第２のオーディオデータチャネルから前記位相シフト値の第２の部分を減算するステップと、
を含むことを特徴とする請求項９に記載の方法。

【請求項16】

オーディオデータを処理するための装置であって、
左チャネルオーディオデータ及び右チャネルオーディオデータを受け取って両耳間時間遅延補正因子を生成する手段と、
前記左チャネルオーディオデータ及び前記右チャネルオーディオデータ間に時間差が存在しない、かつ、前記左チャネルオーディオデータ及び前記右チャネルオーディオデータ間にレベル差が存在する場合、前記左チャネル及び前記右チャネル間に両耳間時間遅延を挿入することによって、前記左チャネルオーディオデータ及び前記右チャネルオーディオデータを前記両耳間時間遅延補正因子の関数として修正するための両耳間時間遅延補正因子挿入ユニットと、
を備えることを特徴とする装置。

【請求項17】

前記両耳間時間遅延補正因子挿入ユニットが、前記左チャネルオーディオデータ及び前記右チャネルオーディオデータを前記両耳間時間遅延補正因子の前記関数として修正する手段を備える、
ことを特徴とする請求項１６に記載の装置。

【請求項18】

前記両耳間時間遅延補正因子挿入ユニットが、オーディオデータチャネルを前記両耳間時間遅延補正因子ユニットの遅延に関する量だけ遅延させる手段を備える、
ことを特徴とする請求項１６に記載の装置。

【請求項19】

前記両耳間時間遅延補正因子挿入ユニットが、オーディオデータチャネルを受け取って該オーディオデータチャネルにハン窓を適用する手段を備える、
ことを特徴とする請求項１に記載の装置。

【請求項20】

前記両耳間時間遅延補正因子挿入ユニットが、複数の周波数領域オーディオチャネル信号に位相シフトを挿入する手段を備える、
ことを特徴とする請求項１に記載の装置。

【請求項21】

前記両耳間時間遅延補正因子挿入ユニットは、前記左チャネルオーディオデータ及び前記右チャネルオーディオデータ間に時間差が存在し、かつ、前記左チャネルオーディオデータ及び前記右チャネルオーディオデータ間にレベル差が存在しない場合、前記左チャネル及び前記右チャネル間のレベルを補正することによって、前記左チャネルオーディオデータ及び前記右チャネルオーディオデータを前記両耳間時間遅延補正因子の関数として修正することを特徴とする請求項１又は２０に記載の装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、オーディオデータを処理するためのシステムに関し、より具体的には、ステレオ又はその他のマルチチャネルオーディオデータにおける両耳間時間遅延を復元するためのシステム及び方法に関する。

【背景技術】

【0002】

オーディオデータを処理してオーディオ合成を生成する場合、パンニングポテンショメータを利用するミキサ、又はパンニングポテンショメータの機能をシミュレートするその他のシステム又は装置を使用してこのようなオーディオデータを混合することが一般的である。パンニングポテンショメータを使用して、単一の入力チャネルを左右のステレオ出力などの２又はそれ以上の出力チャネルに割り当て、例えばリスナを基準として左遠方位置と右遠方位置との間の空間位置をシミュレートすることができる。しかしながら、通常、このようなパンニングポテンショメータは、ライブパフォーマンスから本来生じる両耳間の時間差を加えることはない。

【発明の概要】

【課題を解決するための手段】

【0003】

本発明によれば、オーディオデータチャネルの相対振幅に基づいて、推定両耳間遅延に対応する２又はそれ以上のオーディオデータチャネル間の時間遅延を加える、両耳間時間遅延を復元するためのシステム及び方法が提供される。

【0004】

本発明の例示的な実施形態によれば、オーディオデータを処理するための装置が提供される。この装置は、複数のオーディオデータチャネルが関連する両耳間時間遅延を伴わないパンニングデータを含む場合などに、複数のオーディオデータチャネルを受け取って両耳間時間遅延補正因子を生成するための両耳間時間遅延補正因子ユニットを含む。両耳間時間遅延補正因子挿入ユニットが、複数のオーディオデータチャネルを両耳間時間遅延補正因子の関数として修正し、例えば推定両耳間時間遅延を加えてオーディオ品質を向上させる。

【0005】

当業者であれば、以下の詳細な説明を図面と併せて読めば、本発明の有利かつ優れた特徴を本発明の他の重要な態様とともにさらに理解するであろう。

【図面の簡単な説明】

【0006】

【図1】本発明の例示的な実施形態による、両耳間時間補正のためのシステムを示す図である。

【図2】本発明の例示的な実施形態による、特定の周波数帯域の左右チャネルのオーディオデータのピーク差を検出するためのシステムを示す図である。

【図3】本発明の例示的な実施形態による、両耳間時間差及びレベル差を平滑化するためのシステムを示す図である。

【図4】本発明の例示的な実施形態による、両耳間時間差及びレベル差を導入するようにオーディオデータを処理する方法を示す図である。

【図5】本発明の例示的な実施形態による、両耳間時間遅延補正のためのシステムを示す図である。

【図6】本発明の例示的な実施形態による、パンニング制御設定に関連する両耳間時間遅延を制御する方法を示すフロー図である。

【発明を実施するための形態】

【0007】

以下の説明では、明細書及び図面を通じて同様の部分をそれぞれ同じ参照番号で示す。明瞭さ及び簡潔さを期すために、作図は縮尺通りでない場合があり、構成要素によっては一般化又は概略化した形で示し、商業的記号により特定しているものもある。

【0008】

図１は、本発明の例示的な実施形態による、両耳間時間補正のためのシステム１００を示す図である。システム１００は、ハードウェア、ソフトウェア、又はハードウェアとソフトウェアの適当な組み合わせで実現することができ、デジタル信号処理プラットフォーム上で動作する１又はそれ以上のソフトウェアシステムであってもよい。本明細書で使用する「ハードウェア」は、個別構成要素、集積回路、特定用途向け集積回路、フィールドプログラマブルゲートアレイ、又はその他の適当なハードウェアの組み合わせを含むことができる。本明細書で使用する「ソフトウェア」は、オブジェクト、エージェント、スレッド、命令行、サブルーチン、個々のソフトウェアアプリケーション、２又はそれ以上の命令行、或いは２又はそれ以上のソフトウェアアプリケーション内で又は２又はそれ以上のプロセッサ上で動作するその他の適当なソフトウェア構造、又はその他の適当なソフトウェア構造を含むことができる。１つの例示的な実施形態では、ソフトウェアが、オペレーティングシステムなどの、汎用ソフトウェアアプリケーション内で動作する１又はそれ以上の命令行又はその他の適当なソフトウェア構造、及び特定用途向けソフトウェアアプリケーション内で動作する１又はそれ以上の命令行又はその他の適当なソフトウェア構造を含むことができる。

【0009】

システム１００は、左右のチャネルのオーディオ時間信号をそれぞれ受け取る低遅延フィルタバンク１０２及び１０４を含む。１つの例示的な実施形態では、低遅延フィルタバンク１０２及び１０４が、サンプリング周波数の一連のオーディオデータのサンプルを受け取るとともに、サンプルリングしたオーディオデータを所定数のサンプルに基づいて処理することができる。低遅延フィルタバンク１０２及び１０４を使用して、複数の周波数帯域の或る時間中のピーク振幅間の時間遅延を測定する。１つの例示的な実施形態では、周波数帯域の数をバーク数、等価矩形帯域幅（ＥＲＢ）、又はその他の適当なオーディオデータの心理音響帯域に関連付けて、低遅延フィルタバンク１０２及び１０４からの出力の合計数が、入力サンプル当たりのバーク数又はＥＲＢに等しくなるようにすることができる。同様に、オーバーサンプリングを使用して、例えば各々が個々の周波数帯域の複数の対応するサブバンドの１つのための複数のフィルタを使用する（従って、関連する帯域ごとに複数のサブバンドを作成する）ことにより、或いはその他の適当な方法で、オーディオアーチファクトが生み出される可能性を低減させることができる。

【0010】

チャネル遅延検出器１０６が、低遅延フィルタバンク１０２及び１０４からの入力を受け取り、複数の周波数帯域ごとに差分補正因子を決定する。１つの例示的な実施形態では、チャネル遅延検出器１０６が、左右のチャネル間などの時間差を生み出すために周波数領域信号に加えるべき量の位相差を発生させて、パンニングを使用したものではあるが関連する時間遅延を組み込んでいない信号に両耳間時間遅延を挿入することができる。１つの例示的な実施形態では、パンニングポテンショメータを使用してオーディオデータを混合し、入力チャネルがステレオデータの左遠方チャネルと右遠方チャネルとの中間にある見掛けの空間的位置を有するようにし、或いはその他の適当な方法で２つよりも多くのチャネルが存在するようにすることができる。このようなパンニングを使用して空間的位置、動き、又はその他の効果をシミュレートすることはできるものの、このようなパンニングによってライブのオーディオデータに伴う両耳間時間遅延が再現されることはない。例えば、音源がリスナの左側に存在する場合、音源からのオーディオ信号がリスナの左耳で受け取られる時間と、音源からのオーディオ信号がリスナの右耳で受け取られる時間との間に時間遅延が生じる。同様に、音源がリスナの左側からリスナの右側へ動くにつれ、これに伴う時間遅延は減少し、音源がリスナの真正面にきたときにゼロになり、その後右耳に関して増加する。単純なパンニングポテンショメータを使用して空間的位置又は動きをシミュレートすることではこれらの関連する時間遅延を生み出すことはできないが、チャネル遅延検出器１０６を使用することにより、この時間遅延をモデル化してステレオ又はその他のマルチチャネルオーディオ信号に挿入することができる。

【0011】

同様に、左右のチャネル間に時間遅延が存在するが、これに伴う振幅差が存在しないような場合、チャネル遅延検出器１０６を使用して両耳間のレベル差を補正することもできる。例えば、オーディオ処理により、パンしたオーディオ信号に関連するレベルを変更して、関連する左右のチャネル間の時間遅延を伴って正確にオーディオ信号が録音されたにもかかわらず、この左右のチャネルのサウンドレベルがライブのオーディオ信号を反映しないようにすることができる。チャネル遅延検出器１０６を同様に又は別様に使用して、関連するレベル補正因子をモデル化してステレオ又はその他のマルチチャネルオーディオ信号に挿入することもできる。

【0012】

チャネル遅延検出器１０６は複数のＭ個の補正因子を出力し、これを使用して複数のオーディオデータチャネルに両耳間時間差又はレベル差を挿入する。オーバーサンプリングを使用して知覚帯域内のばらつきを平滑化する場合、補正因子の数を低遅延フィルタバンク１０２又は１０４の出力数未満とすることができる。１つの例示的な実施形態では、知覚帯域を帯域幅の３倍でサンプリングする場合、ＮがＭの３倍に等しくなる。

【0013】

システム１００は遅延１０８及び１１０を含み、これらが左右の時変オーディオチャネル信号を受け取って、低遅延フィルタバンク１０２及び１０４及びチャネル遅延検出器１０６を通じた遅延から、ゼロパディングしたハン窓１１２及び１１４及び高速フーリエ変換器１１６及び１１８により生み出された遅延を差し引いたものに対応する量だけ信号を遅延させる。

【0014】

ゼロパディングしたハン窓１１２及び１１４は、左右のチャネルの時変オーディオ信号を、ハン窓修正した信号を作成するための量だけ修正する。ゼロパディングしたハン窓１１２及び１１４を使用して、処理済みのオーディオデータ内にオーディオアーチファクトが発生する原因となる位相シフトの変化を生み出すことがある不連続部分が処理済みの信号内に生じるのを防ぐことができる。これとは別に、不連続部分を防ぐための他の種類のハン窓又はその他の適当な処理を使用することもできる。

【0015】

高速フーリエ変換器１１６及び１１８は、左右のチャネルの時間領域オーディオデータを周波数領域データに変換する。１つの例示的な実施形態では、高速フーリエ変換器１１６及び１１８が時間領域信号の所定数の時間サンプルを受け取り、これをゼロパディングしたハン窓１１２及び１１４によりサンプル数を増やすように修正して、時間領域信号の対応する数の周波数成分を生成する。

【0016】

位相シフト挿入部１２０が、高速フーリエ変換器１１６及び１１８から高速フーリエ変換データを受け取り、例えば個々の周波数ビン又は一群の周波数ビンのフーリエ変換データの実成分及び虚数成分を修正して、関連する個々のビン又は一群のビンの振幅を修正しないことにより、チャネル遅延検出器１０６から受け取った補正因子に基づいて信号に位相シフトを挿入する。１つの例示的な実施形態では、位相シフトが、チャネル遅延検出器１０６により決定された電子チャネル間の角度差に対し、主要チャネルの位相が角度差の１／２だけ進み、２次チャネルの位相が角度差の１／２だけ遅れるように相関する。

【0017】

逆高速フーリエ変換器１２２及び１２４が、位相シフトした周波数領域信号を位相シフト挿入部１２０から受け取り、信号に逆高速フーリエ変換を行って時変信号を生成する。次に、この左右のチャネルの時変信号がオーバーラップ加算部１２６及び１２８にそれぞれ提供され、これらが信号にオーバーラップ加算動作を行って、ゼロパディングしたハン窓１１２及び１１４による処理を行う。オーバーラップ加算部１２６及び１２８は、シフト及び加算レジスタ１３０及び１３２に信号を出力し、これらがシフトした時間信号をＬ^idc（ｔ）及びＲ^idc（ｔ）として出力する。

【0018】

動作中、システム１００は、関連する両耳間時間差を伴わないパンニングを含む信号が、両耳間時間差を挿入するように補償されることを可能にする。このようにして、システム１００は、オーディオ信号において本来発生する両耳間時間差を復元してオーディオ品質を向上させる。

【0019】

図２は、本発明の例示的な実施形態による、特定の周波数帯域の左右のチャネルのオーディオデータのピーク差を検出するためのシステム２００を示す図である。システム２００を使用して、オーディオデータの別の周波数帯域の左右のチャネルのデータ間のピークを検出し、周波数帯域ごとの補正因子を生成することができる。

【0020】

システム２００は、ヒルベルトエンベロープ２０２及び２０４を含み、これらが左右の時間領域信号を受け取り、信号の所定の周波数帯域のためのヒルベルトエンベロープを生成する。１つの例示的な実施形態では、ヒルベルトエンベロープ２０２が、システム１００の高速フーリエ変換器１１６及び１１８により処理されるよりも少ない数の時間領域サンプルに作用して、システム２００が補正因子を迅速に生成し、時間チャネル時間領域データを関連する補正因子を生成するための周波数領域に変換することにより、発生するはずのさらなる遅延を回避できるようにすることができる。

【0021】

ピーク検出器２０６及び２０８は、左右のチャネルのヒルベルトエンベロープをそれぞれ受け取り、ピーク振幅及びこのピーク振幅に関連する時間を信号ごとに求める。次に、このピークデータ及び時間データを振幅及び時間差検出器２１０に提供し、対応するピーク振幅の時間差が存在するかどうかを判定する。振幅及び時間差検出器２１０が、ピーク振幅時間に対応する差が存在しないと判定した場合、両耳間時間差補正２１４を使用して、左右のチャネルのピーク振幅の強度値を比較することにより、周波数領域オーディオデータに挿入すべき補正因子角Ｔ^CORを決定することができる。１つの例示的な実施形態では、角度ａｔａｎ２（左チャネルの振幅，右チャネルの振幅）−４５度を求めることにより、この補正因子角Ｔ^CORを決定することができる。同様に、他の適当な処理を使用して補正因子角を決定することもできる。例えば、振幅ピーク間にわずかな時間差が存在する場合、補正因子角を生成するために適当な閾値を適用することもできる。

【0022】

左右のチャネルデータのピーク間に時間的な差は存在するが、それ以外に振幅は等しい場合、両耳間レベル差補正２１２を使用することができる。この例示的な実施形態では、補正因子Ｌ^CORによって、例えば遅延チャネルからＬ^CORを減算することにより、主要チャネルに０．５×Ｌ^CORを加算して遅延チャネルから０．５×Ｌ^CORを減算することにより、或いはその他の適当な方法で、大きくなるオーディオピークを有するチャネルに高い方の値を与え、小さくなるオーディオピークを有するチャネルに低い方の値を与えるように振幅を調整することができる。両耳間レベル差補正２１２に閾値を使用して、例えば閾値時間差を特定してこれよりも上のレベルに補正を適用し、また閾値レベル差を特定してこれよりも下のレベルに補正を適用しないようにすることができる。

【0023】

動作中、システム２００を使用して、左右の信号の時間差及びレベル差補正因子を生成し、例えば左右のパンニングを有するものの関連する時間差を伴わない信号のための両耳間時間差補正因子を生成し、また両耳間時間差は存在するものの関連するパンニングの振幅は存在しない信号のためのレベル補正を生成することができる。

【0024】

図３は、本発明の例示的な実施形態による、両耳間時間差及びレベル差を平滑化するためのシステム３００を示す図である。システム３００は、両耳間時間差及びレベル差補正ユニット３０２〜３０６を含み、これらは各々、異なる周波数帯域の両耳間時間差及び／又はレベル差補正因子を生成する。１つの例示的な実施形態では、この周波数帯域をバーク、ＥＲＢ、又はその他の適当な心理音響周波数帯域の一部とすることにより、システム３００を使用して、心理音響周波数帯域のための単一の補正因子を、その周波数帯域のサブコンポーネントに基づいて生成できるようにすることができる。

【0025】

時間平滑化ユニット３０８〜３１２を使用して、両耳間時間差又はレベル差補正システム３０２〜３０６からの出力にそれぞれ時間平滑化を行う。１つの例示的な実施形態では、時間平滑化ユニット３０８〜３１２が、両耳間時間差又はレベル差補正ユニット３０２〜３０６からの一連の出力を受け取ってこの所定数のサンプルの連続を記憶し、例えば連続するサンプル間のばらつきを平均化し、又はその他の方法で平滑化できるようにすることができる。

【0026】

周波数帯域平滑化ユニット３１４が、両耳間時間差又はレベル差補正ユニット３０２〜３０６から両耳間時間差又はレベル差補正因子の各々を受け取り、両耳間時間差又はレベル差補正因子に平滑化を行う。１つの例示的な実施形態では、バーク又はＥＲＢ周波数帯域を１／３に分割した場合、周波数帯域平滑化３１４が、これらの３つの周波数補正因子を関連する周波数帯域に関して平均化し、加重平均を求め、一時的平滑化因子を使用し、或いはその他の適当な平滑化処理を行うことができる。周波数帯域平滑化３１４は、周波数帯域ごとに単一の位相補正因子を生成する。

【0027】

動作中、システム３００は、時間、周波数、時間及び周波数、又はその他の適当な因子に基づき、左右のチャネルのオーディオデータを分析することにより生成される両耳間時間差又はレベル差補正因子に平滑化を行って、関連するレベル差又は時間差を含まないパンニング設定を検出する。このようにして、システム３００は、両耳間時間差又はレベル差補正因子間の変化が急速に行われないことを確実にすることにより、オーディオアーチファクトが生み出されないようにするのに役立つことができる。

【0028】

図４は、本発明の例示的な実施形態による、両耳間時間差及びレベル差を導入するようにオーディオデータを処理する方法４００を示す図である。方法４００は４０２から開始し、ここで左右の振幅エンベロープを決定する。１つの例示的な実施形態では、ヒルベルトエンベロープ検出器又はその他の適当なシステムを使用して、周波数帯域のピークの振幅、このピークに関連する時間、及びその他の適当なデータを求めることができる。次に、方法は４０４へ進む。

【0029】

４０４において、振幅エンベロープのピークが、関連するピークの時間に加えて検出される。１つの例示的な実施形態では、ピークが発生した関連する時間間隔を検出する、振幅検出器などの単純なピーク検出器を使用することができる。方法は４０６へ進む。

【0030】

４０６において、左右のチャネルデータのピーク間に時間差が存在するかどうかが判定される。１つの例示的な実施形態では、時間差が関連するバッファを含むことにより、ピーク間の時間が所定の量未満であれば時間差が存在しないと判定することができる。時間差が存在すると判定され、両耳間時間遅延復元が不要となった場合、方法は４０８へ進み、ここで２つの信号の振幅間にレベル差が存在するかどうかが判定される。レベル差が存在すると判定された場合、方法は４１０へ進む。そうでない場合、方法は４１２へ進み、ここで左右のチャネルのオーディオデータ間のレベルが補正される。１つの例示的な実施形態では、主要チャネルの振幅を変更しないまま、主要チャネルと遅延チャネルの間の差に関する因子によって遅延チャネルの振幅を低減させることができ、或いはその他の適当な処理を使用することもできる。

【0031】

左右のチャネルの振幅ピーク間に時間差が存在しないと判定された場合、方法は４１４へ進み、ここでレベル差が位相補正角に変換される。１つの例示的な実施形態では、ａｔａｎ２（左チャネルの振幅，右チャネルの振幅）−４５度によって位相補正角が求められ、或いはその他の適当な関係を使用することもできる。次に、方法は４１６へ進み、ここで左右のチャネルに位相差が割り当てられる。１つの例示的な実施形態では、位相差を均等に分割してチャネルを同じ量だけ進ませかつ遅らせることにより、この割り当てを行うことができる。同様に、適当であれば重み付けした差を使用することもでき、或いはその他の適当な処理を使用することもできる。次に、方法は４１８へ進む。

【0032】

４１８において、左右のチャネルの位相補正角の差が平滑化される。１つの例示的な実施形態では、この差を時間とともに、隣接するチャネルの位相補正角に基づいて、或いはその他の適当な方法で平滑化することができる。次に、方法は４２０へ進む。

【0033】

４２０において、オーディオ信号に差分補正因子が適用される。１つの例示的な実施形態では、周波数領域内の関連する位相シフトを加算又は減算することにより周波数領域内の時間信号の時間差を加算又は減算する周知の方法などを使用して、周波数領域内に時間差に対応する位相差を加えることができる。同様に、その他の適当な処理を使用することもできる。

【0034】

動作中、方法４００は、両耳間位相又は振幅補正因子を求め、これを複数のオーディオデータチャネルに適用できるようにする。２つの例示的なチャネルを示したが、適当であれば、追加のオーディオデータチャネルを処理して、例えば５．１サウンドシステム、７．１サウンドシステム、又はその他の適当なサウンドシステム内のオーディオデータに両耳間位相又は振幅補正因子を加えることもできる。

【0035】

図５は、本発明の例示的な実施形態による、両耳間時間遅延補正のためのシステム５００を示す図である。システム５００は、両耳間時間遅延を混合前に補償して、関連する物理的位置で生成された、音源に伴う両耳間時間遅延をより正確に反映するパンニング制御出力を生成できるようにする。

【0036】

システム５００は、左チャネル可変遅延５０２、右チャネル可変遅延５０４、及びパンニング制御５０６を含み、これらの各々をハードウェア、ソフトウェア、又はハードウェアとソフトウェアの適当な組み合わせの形で実現することができ、またこれらはデジタル信号処理プラットフォーム上で動作するソフトウェアシステムの１つであってもよい。パンニング制御５０６は、ユーザがパンニング設定を選択して、左チャネル信号及び右チャネル信号に時変オーディオデータ入力を割り当てることができるようにする。１つの例示的な実施形態では、パンニング制御５０６が、仮想左位置と仮想右位置との間の複数の関連する位置設定の各々のための関連する時間遅延値を含むことができる。この例示的な実施形態では、最も左、中心、又は最も右が選択された場合、このような設定には遅延が必要ないという理由で、パンニング制御５０６が可変遅延制御を無効にすることができる。パンニング制御５０６が、最も左、中心、又は最も右の位置の間に設定された場合、関連する位置に存在する音源に関して生成される両耳間時間遅延に対応する遅延値を生成することができる。

【0037】

パンニング制御５０６はまた、ユーザが左から右への、又は右から左へのパンニングを意図する場合などに、アクティブなパンニングを選択できるようにするアクティブパンニング機能を含むこともできる。この例示的な実施形態では、パンニング制御５０６の最も左又は最も右の設定に時間遅延を与えて、パンニング制御５０６の設定が最も左又は最も右から動いたときに、ユーザがオーディオアーチファクトを生み出さずにオーディオ入力をパンできるようにするが、これはそうしなければ、最も左又は最も右の設定のゼロ遅延から、最も左又は最も右の設定に隣接するパンニング制御５０６の設定の最大遅延値へ時間遅延がジャンプするからである。

【0038】

左チャネル可変遅延５０２及び右チャネル可変遅延５０４は、システム１００の両耳間時間遅延補正因子挿入ユニットを使用して、或いはその他の適当な方法で実現することができる。

【0039】

動作中、システム５００は、左チャネルと右チャネル、又はその他の適当なチャネルなどの２つの出力チャネル間でオーディオチャネルをパンしたときに、両耳間時間遅延を加えることができるようにする。システム５００は、時間遅延が不要な設定に関しては時間遅延を無効にすることができる。

【0040】

図６は、本発明の例示的な実施形態による、パンニング制御設定に関連する両耳間時間遅延を制御する方法６００を示すフロー図である。方法６００は６０２から開始し、ここでユーザが選択したチャネルなどに関する時間領域オーディオチャネルデータが受け取られる。次に、方法は６０４へ進み、ここでパンニング制御設定が検出される。パンニング制御は、ポテンショメータ、仮想的パンニング制御、又はその他の適当な制御であってもよい。次に、方法は６０６へ進む。

【0041】

６０６において、パンニング遅延設定が必要かどうかが判定される。１つの例示的な実施形態では、最も左、最も右、又は中心位置などの所定のパンニング制御位置に関してパンニング遅延を無効にすることができる。別の例示的な実施形態では、例えばユーザが最も左の位置と最も右の位置との間でアクティブにパンできるようにパンニング制御設定を選択していた場合、最も左又は最も右の位置に関してパンニング遅延を生成して、例えばパンニング制御が最も左又は最も右の位置から動いたときの時間遅延の生成における不連続を避けるようにすることができる。パンニング遅延が必要ないと判定された場合、方法は６１２へ進み、そうでなければ方法は６０８へ進む。

【0042】

６０８において、パンニング制御設定に基づいて遅延量が計算される。１つの例示的な実施形態では、アクティブなパンニングが選択されている場合などに、パンニング制御が最も左又は最も右の位置にあるときに最大時間遅延を生成することができる。同様に、固定したパンニング設定が選択されている場合には、最も左又は最も右の設定に時間遅延は必要ない（これらの対極的なチャネルでは関連する信号が生成されないため）。最も右の位置設定と最も左の位置設定との間のパンニング制御設定では、中間位置での時間遅延に対応する時間遅延が計算され、この場合パンニング制御位置が中心位置に近づくにつれて時間遅延が減少する。次に、方法は６１０へ進む。

【0043】

６１０において、計算した遅延が１又はそれ以上の可変遅延に適用される。１つの例示的な実施形態では、左又は右のチャネルの一方に遅延を加えることができ、或いはその他の適当な遅延設定値を使用することができる。別の例示的な実施形態では、システム１００の両耳間時間遅延補正因子挿入ユニットを利用して、或いはその他の適当な方法で遅延を加えることができる。次に、方法は６１２へ進む。

【0044】

６１２において、例えばデータバッファ内に追加のデータサンプルが存在するかどうかを判定することにより、或いはその他の適当な方法で、追加のオーディオチャネルに処理が必要かどうかが判定される。追加のデータ処理が必要な場合、方法は６０２へ戻り、必要でない場合、方法は６１４へ進んで終了する。

【0045】

動作中、方法６００は、パンニング制御設定に基づいて両耳間時間遅延を生成できるようにする。方法６００により、パンニング制御を使用することによる音の位置を、時間補正を伴わない左右のチャネル間の単純なパンニングよりも実際の音源の位置を密接に近づけるようにシミュレートできるようになる。

【0046】

本明細書では、本発明のシステム及び方法の例示的な実施形態について詳細に説明したが、当業者であれば、添付の特許請求の範囲及びその思想から逸脱することなくシステム及び方法に様々な置換及び修正を行うことができることも認識するであろう。

【符号の説明】

【0047】

１００ システム
１０２ 低遅延フィルタバンク
１０４ 低遅延フィルタバンク
１０６ チャネル遅延検出器
１０８ 遅延
１１０ 遅延
１１２ ハン窓
１１４ ハン窓
１１６ ＦＦＴ
１１８ ＦＦＴ
１２０ 位相シフト挿入部
１２２ ＩＦＦＴ
１２４ ＩＦＦＴ
１２６ オーバーラップ加算部オ
１２８ オーバーラップ加算部
１３０ シフト
１３２ シフト

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】