(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6620235
(24)【登録日】2019年11月22日
(45)【発行日】2019年12月11日
(54)【発明の名称】サウンドステージ拡張のための機器及び方法
(51)【国際特許分類】
H04S 1/00 20060101AFI20191202BHJP
H04R 3/12 20060101ALI20191202BHJP
【FI】
H04S1/00 200
H04R3/12 A
【請求項の数】80
【全頁数】42
(21)【出願番号】特願2018-521539(P2018-521539)
(86)(22)【出願日】2015年10月27日
(65)【公表番号】特表2018-536342(P2018-536342A)
(43)【公表日】2018年12月6日
(86)【国際出願番号】US2015057616
(87)【国際公開番号】WO2017074321
(87)【国際公開日】20170504
【審査請求日】2018年7月31日
(73)【特許権者】
【識別番号】515287723
【氏名又は名称】アンビディオ,インコーポレイテッド
(74)【代理人】
【識別番号】100079108
【弁理士】
【氏名又は名称】稲葉 良幸
(74)【代理人】
【識別番号】100109346
【弁理士】
【氏名又は名称】大貫 敏史
(74)【代理人】
【識別番号】100117189
【弁理士】
【氏名又は名称】江口 昭彦
(74)【代理人】
【識別番号】100134120
【弁理士】
【氏名又は名称】内藤 和彦
(72)【発明者】
【氏名】ウー,ツァイ−イ
(72)【発明者】
【氏名】シェ,ペイ−ルン
【審査官】
鈴木 圭一郎
(56)【参考文献】
【文献】
米国特許出願公開第2015/0172812(US,A1)
【文献】
米国特許出願公開第2004/0136554(US,A1)
【文献】
米国特許出願公開第2011/0243338(US,A1)
【文献】
特開2007−208318(JP,A)
【文献】
特開2015−144394(JP,A)
【文献】
Tsai-Yi Wu,Listening with Realism:Sound Stage Wxtension for Laptop Speaker,[online],2014年,[2017年1月24日検索],URL,<http://steinhardt.nyu.edu/scmsAdmin/media/users/dtv206/Thesis_TsaiYi_Final.pdf>
(58)【調査した分野】(Int.Cl.,DB名)
H04S 1/00
H04S 7/00
H04R 3/00−3/14
(57)【特許請求の範囲】
【請求項1】
オーディオ信号を処理するための方法であって、
1つ又は複数のプロセッサと、少なくとも2つのスピーカと、メモリと、前記メモリに格納され、前記1つ又は複数のプロセッサによって実行される複数のプログラムモジュールとを有するコンピューティング装置によって、
デジタルステレオオーディオ入力信号を受信することと、
前記デジタルステレオオーディオ入力信号から位置特定キューを抽出することと、
前記位置特定キューに従って、前記デジタルステレオオーディオ入力信号から左サイド成分及び右サイド成分を少なくとも部分的に生成することと、
クロストークキャンセルされた左サイド成分及びクロストークキャンセルされた右サイド成分を取得するために、前記左サイド成分及び前記右サイド成分にクロストークキャンセルをそれぞれ実行することと、
前記クロストークキャンセルされた左サイド成分及び前記クロストークキャンセルされた右サイド成分を含むデジタルステレオオーディオ出力信号を生成することと
を含み、
前記デジタルステレオオーディオ入力信号から左サイド成分及び右サイド成分を生成する前記ステップが、
前記デジタルステレオオーディオ入力信号から中央成分、最初の左サイド成分、及び最初の右サイド成分を抽出することと、
中間左サイド成分及び中間右サイド成分を取得するために、前記位置特定キューに従って、前記最初の左サイド成分及び前記最初の右サイド成分に前記中央成分をそれぞれパンすることと、
前記左サイド成分及び前記右サイド成分を取得するために、前記中央成分の第1のコピーを前記中間左サイド成分と、前記中央成分の第2のコピーを前記中間右サイド成分とそれぞれアップミックスすることであって、前記中央成分の前記第1及び第2のコピー間に所定の時間間隔がある、アップミックスすることと
を更に含む、方法。
【請求項2】
前記中央成分、前記中間左サイド成分、及び前記中間右サイド成分が、マルチチャネルオーディオシステムのセンターチャネル、左サラウンド信号、及び右サラウンドチャネルにそれぞれ対応する、請求項1に記載の方法。
【請求項3】
中間左サイド成分及び中間右サイド成分を取得するために、前記位置特定キューに従って、前記最初の左サイド成分及び前記最初の右サイド成分に前記中央成分をそれぞれパンする前記ステップが、
マルチチャネルオーディオシステムのセンターチャネル、左サラウンドチャネル、及び右サラウンドチャネルを受信することと、
前記センターチャネルを前記中央成分と組み合わせることと、
前記左サラウンドチャネル及び前記右サラウンドチャネルを前記中間左サイド成分及び前記中間右サイド成分とそれぞれ組み合わせることと
を更に含む、請求項1に記載の方法。
【請求項4】
前記デジタルステレオオーディオ入力信号が、左信号及び右信号を更に含み、及び前記デジタルステレオオーディオ入力信号から中央成分、最初の左サイド成分、及び最初の右サイド成分を抽出する前記ステップが、
短時間離散フーリエ変換を用いて、時間領域から周波数領域に前記左信号及び前記右信号を変換することと、
前記周波数領域における所定の周波数のために、より小さい振幅を有する前記周波数領域における前記左信号及び前記右信号の1つとして、前記周波数領域において前記中央成分を定義することと、
短時間離散逆フーリエ変換を用いて、前記周波数領域から逆に前記時間領域に前記中央成分を変換することと、
前記左信号及び前記右信号から前記時間領域における前記中央成分を引くことにより、前記最初の左サイド成分及び前記最初の右サイド成分をそれぞれ生成することと
を更に含む、請求項1に記載の方法。
【請求項5】
前記デジタルステレオオーディオ入力信号が、左信号及び右信号を更に含み、中間左サイド成分及び中間右サイド成分を取得するために、前記位置特定キューに従って、前記最初の左サイド成分及び前記最初の右サイド成分に前記中央成分をそれぞれパンする前記ステップが、
最初の中央左成分及び最初の中央右成分を取得するために、左振幅パニングパラメータ及び右振幅パニングパラメータを前記中央成分にそれぞれ適用することと、
前記左信号及び前記右信号間の両耳間時間差(ITD)及び両耳間強度差(IID)を決定することと、
中間中央左成分及び中間中央右成分を取得するために、前記最初の中央左成分及び前記最初の中央右成分の少なくとも1つに前記ITD及び前記IIDを適用することと、
前記中間左サイド成分及び前記中間右サイド成分を取得するために、前記最初の左サイド成分を前記中間中央左成分と、前記最初の右サイド成分を前記中間中央右成分とそれぞれ組み合わせることと
を更に含む、請求項1に記載の方法。
【請求項6】
前記デジタルステレオオーディオ入力信号に関連する音源の角度を決定することと、
前記音源の前記角度に従って前記ITD及び前記IIDを計算することと、
前記ITDの時間シフト及び前記IIDの振幅乗算を前記最初の中央右成分に適用することにより、前記最初の中央右成分を更新することと、
前記中間中央左成分として、前記更新された最初の中央右成分を前記最初の中央左成分に組み合わせることと
を更に含む、請求項5に記載の方法。
【請求項7】
前記左サイド成分及び前記右サイド成分にクロストークキャンセルを実行する前に、
帯域通過フィルタリングされた左サイド成分及び帯域通過フィルタリングされた右サイド成分を取得するために、第1の帯域通過フィルタを用いて、前記左サイド成分及び前記右サイド成分に等化をそれぞれ実行することと、
前記帯域通過フィルタリングされた左サイド成分及び前記帯域通過フィルタリングされた右サイド成分から前記左サイド成分及び前記右サイド成分を引くことにより、左サイド残差成分及び右サイド残差成分をそれぞれ生成することと、
前記左サイド成分及び前記右サイド成分にクロストークキャンセルを実行した後、
前記クロストークキャンセルされた左サイド成分及び前記クロストークキャンセルされた右サイド成分に前記左サイド残差成分及び前記右サイド残差成分をそれぞれ組み合わせることと
を更に含む、請求項1に記載の方法。
【請求項8】
前記第1の帯域通過フィルタを用いて、前記左サイド成分及び前記右サイド成分に等化を実行した後、第2の帯域通過フィルタを用いて、前記左サイド成分及び前記右サイド成分から所定の周波数帯域を取り除くことを更に含む、請求項7に記載の方法。
【請求項9】
前記第1の帯域通過フィルタを用いて、前記左サイド成分及び前記右サイド成分に等化を実行した後、所定の周波数帯域を他の周波数に対して強調するために、前記左サイド成分及び前記右サイド成分に第1のダイナミックレンジ圧縮を実行することを更に含む、請求項7に記載の方法。
【請求項10】
前記クロストークキャンセルされた左サイド成分及び前記クロストークキャンセルされた右サイド成分に前記左サイド残差成分及び前記右サイド残差成分をそれぞれ組み合わせた後、前記デジタルステレオオーディオ出力信号に前記位置特定キューを保持するために、前記クロストークキャンセルされた左サイド成分及び前記クロストークキャンセルされた右サイド成分に第2のダイナミックレンジ圧縮を実行することを更に含む、請求項7に記載の方法。
【請求項11】
オーディオ信号を処理するためのコンピューティング装置であって、
1つ又は複数のプロセッサと、
メモリと、
前記メモリに格納され、前記1つ又は複数のプロセッサによって実行される複数のプログラムモジュールであって、前記1つ又は複数のプロセッサによって実行されると、複数のステップを前記コンピューティング装置に実行させる複数のプログラムモジュールと
を含み、前記複数のステップは、
デジタルステレオオーディオ入力信号を受信することと、
前記デジタルステレオオーディオ入力信号から位置特定キューを抽出することと、
前記位置特定キューに従って、前記デジタルステレオオーディオ入力信号から左サイド成分及び右サイド成分を少なくとも部分的に生成することと、
クロストークキャンセルされた左サイド成分及びクロストークキャンセルされた右サイド成分を取得するために、前記左サイド成分及び前記右サイド成分にクロストークキャンセルをそれぞれ実行することと、
前記クロストークキャンセルされた左サイド成分及び前記クロストークキャンセルされた右サイド成分を含むデジタルステレオオーディオ出力信号を生成することと
を含み、
前記デジタルステレオオーディオ入力信号から左サイド成分及び右サイド成分を生成する前記ステップが、
前記デジタルステレオオーディオ入力信号から中央成分、最初の左サイド成分、及び最初の右サイド成分を抽出することと、
中間左サイド成分及び中間右サイド成分を取得するために、前記位置特定キューに従って、前記最初の左サイド成分及び前記最初の右サイド成分に前記中央成分をそれぞれパンすることと、
前記左サイド成分及び前記右サイド成分を取得するために、前記中央成分の第1のコピーを前記中間左サイド成分と、前記中央成分の第2のコピーを前記中間右サイド成分とそれぞれアップミックスすることであって、前記中央成分の前記第1及び第2のコピー間に所定の時間間隔がある、アップミックスすることと
を更に含む、コンピューティング装置。
【請求項12】
前記中央成分、前記中間左サイド成分、及び前記中間右サイド成分が、マルチチャネルオーディオシステムのセンターチャネル、左サラウンド信号、及び右サラウンドチャネルにそれぞれ対応する、請求項11に記載のコンピューティング装置。
【請求項13】
中間左サイド成分及び中間右サイド成分を取得するために、前記位置特定キューに従って、前記最初の左サイド成分及び前記最初の右サイド成分に前記中央成分をそれぞれパンする前記ステップが、
マルチチャネルオーディオシステムのセンターチャネル、左サラウンドチャネル、及び右サラウンドチャネルを受信することと、
前記センターチャネルを前記中央成分と組み合わせることと、
前記左サラウンドチャネル及び前記右サラウンドチャネルを前記中間左サイド成分及び前記中間右サイド成分とそれぞれ組み合わせることと
を更に含む、請求項11に記載のコンピューティング装置。
【請求項14】
前記デジタルステレオオーディオ入力信号が、左信号及び右信号を更に含み、及び前記デジタルステレオオーディオ入力信号から中央成分、最初の左サイド成分、及び最初の右サイド成分を抽出する前記ステップが、
短時間離散フーリエ変換を用いて、時間領域から周波数領域に前記左信号及び前記右信号を変換することと、
前記周波数領域における所定の周波のために、より小さい振幅を有する前記周波数領域における前記左信号及び前記右信号の1つとして、前記周波数領域において前記中央成分を定義することと、
短時間離散逆フーリエ変換を用いて、前記周波数領域から逆に前記時間領域に前記中央成分を変換することと、
前記左信号及び前記右信号から前記時間領域における前記中央成分を引くことにより、前記最初の左サイド成分及び前記最初の右サイド成分をそれぞれ生成することと
を更に含む、請求項11に記載のコンピューティング装置。
【請求項15】
前記デジタルステレオオーディオ入力信号が、左信号及び右信号を更に含み、中間左サイド成分及び中間右サイド成分を取得するために、前記位置特定キューに従って、前記最初の左サイド成分及び前記最初の右サイド成分に前記中央成分をそれぞれパンする前記ステップが、
最初の中央左成分及び最初の中央右成分を取得するために、左振幅パニングパラメータ及び右振幅パニングパラメータを前記中央成分にそれぞれ適用することと、
前記左信号及び前記右信号間の両耳間時間差(ITD)及び両耳間強度差(IID)を決定することと、
中間中央左成分及び中間中央右成分を取得するために、前記最初の中央左成分及び前記最初の中央右成分の少なくとも1つに前記ITD及び前記IIDを適用することと、
前記中間左サイド成分及び前記中間右サイド成分を取得するために、前記最初の左サイド成分を前記中間中央左成分と、前記最初の右サイド成分を前記中間中央右成分とそれぞれ組み合わせることと
を更に含む、請求項11に記載のコンピューティング装置。
【請求項16】
前記複数のステップが、
前記デジタルステレオオーディオ入力信号に関連する音源の角度を決定することと、
前記音源の前記角度に従って前記ITD及び前記IIDを計算することと、
前記ITDの時間シフト及び前記IIDの振幅乗算を前記最初の中央右成分に適用することにより、前記最初の中央右成分を更新することと、
前記中間中央左成分として、前記更新された最初の中央右成分を前記最初の中央左成分に組み合わせることと
を更に含む、請求項15に記載のコンピューティング装置。
【請求項17】
前記複数のステップが、
前記左サイド成分及び前記右サイド成分にクロストークキャンセルを実行する前に、
帯域通過フィルタリングされた左サイド成分及び帯域通過フィルタリングされた右サイド成分を取得するために、第1の帯域通過フィルタを用いて、前記左サイド成分及び前記右サイド成分に等化をそれぞれ実行することと、
前記帯域通過フィルタリングされた左サイド成分及び前記帯域通過フィルタリングされた右サイド成分から前記左サイド成分及び前記右サイド成分を引くことにより、左サイド残差成分及び右サイド残差成分をそれぞれ生成することと、
前記左サイド成分及び前記右サイド成分にクロストークキャンセルを実行した後、
前記クロストークキャンセルされた左サイド成分及び前記クロストークキャンセルされた右サイド成分に前記左サイド残差成分及び前記右サイド残差成分をそれぞれ組み合わせることと
を更に含む、請求項11に記載のコンピューティング装置。
【請求項18】
前記複数のステップが、前記第1の帯域通過フィルタを用いて、前記左サイド成分及び前記右サイド成分に等化を実行した後、第2の帯域通過フィルタを用いて、前記左サイド成分及び前記右サイド成分から所定の周波数帯域を取り除くことを更に含む、請求項17に記載のコンピューティング装置。
【請求項19】
前記複数のステップが、前記第1の帯域通過フィルタを用いて、前記左サイド成分及び前記右サイド成分に等化を実行した後、所定の周波数帯域を他の周波数に対して強調するために、前記左サイド成分及び前記右サイド成分に第1のダイナミックレンジ圧縮を実行することを更に含む、請求項17に記載のコンピューティング装置。
【請求項20】
前記複数のステップが、前記クロストークキャンセルされた左サイド成分及び前記クロストークキャンセルされた右サイド成分に前記左サイド残差成分及び前記右サイド残差成分をそれぞれ組み合わせた後、前記デジタルステレオオーディオ出力信号に前記位置特定キューを保持するために、前記クロストークキャンセルされた左サイド成分及び前記クロストークキャンセルされた右サイド成分に第2のダイナミックレンジ圧縮を実行することを更に含む、請求項17に記載のコンピューティング装置。
【請求項21】
オーディオ信号を処理するために1つ又は複数のプロセッサを有するコンピューティング装置に関連する非一時的なコンピュータ可読記憶媒体に格納されたコンピュータプログラム製品であって、複数のプログラムモジュールであって、前記1つ又は複数のプロセッサによって実行されると、複数のステップを前記コンピューティング装置に実行させる複数のプログラムモジュールを含み、前記複数のステップは、
デジタルステレオオーディオ入力信号を受信することと、
前記デジタルステレオオーディオ入力信号から位置特定キューを抽出することと、
前記位置特定キューに従って、前記デジタルステレオオーディオ入力信号から左サイド成分及び右サイド成分を少なくとも部分的に生成することと、
クロストークキャンセルされた左サイド成分及びクロストークキャンセルされた右サイド成分を取得するために、前記左サイド成分及び前記右サイド成分にクロストークキャンセルをそれぞれ実行することと、
前記クロストークキャンセルされた左サイド成分及び前記クロストークキャンセルされた右サイド成分を含むデジタルステレオオーディオ出力信号を生成することと
を含み、
前記デジタルステレオオーディオ入力信号から左サイド成分及び右サイド成分を生成する前記ステップが、
前記デジタルステレオオーディオ入力信号から中央成分、最初の左サイド成分、及び最初の右サイド成分を抽出することと、
中間左サイド成分及び中間右サイド成分を取得するために、前記位置特定キューに従って、前記最初の左サイド成分及び前記最初の右サイド成分に前記中央成分をそれぞれパンすることと、
前記左サイド成分及び前記右サイド成分を取得するために、前記中央成分の第1のコピーを前記中間左サイド成分と、前記中央成分の第2のコピーを前記中間右サイド成分とそれぞれアップミックスすることであって、前記中央成分の前記第1及び第2のコピー間に所定の時間間隔がある、アップミックスすることと
を更に含む、コンピュータプログラム製品。
【請求項22】
前記中央成分、前記中間左サイド成分、及び前記中間右サイド成分が、マルチチャネルオーディオシステムのセンターチャネル、左サラウンド信号、及び右サラウンドチャネルにそれぞれ対応する、請求項21に記載のコンピュータプログラム製品。
【請求項23】
中間左サイド成分及び中間右サイド成分を取得するために、前記位置特定キューに従って、前記最初の左サイド成分及び前記最初の右サイド成分に前記中央成分をそれぞれパンする前記ステップが、
マルチチャネルオーディオシステムのセンターチャネル、左サラウンドチャネル、及び右サラウンドチャネルを受信することと、
前記センターチャネルを前記中央成分と組み合わせることと、
前記左サラウンドチャネル及び前記右サラウンドチャネルを前記中間左サイド成分及び前記中間右サイド成分とそれぞれ組み合わせることと
を更に含む、請求項21に記載のコンピュータプログラム製品。
【請求項24】
前記デジタルステレオオーディオ入力信号が、左信号及び右信号を更に含み、及び前記デジタルステレオオーディオ入力信号から中央成分、最初の左サイド成分、及び最初の右サイド成分を抽出する前記ステップが、
短時間離散フーリエ変換を用いて、時間領域から周波数領域に前記左信号及び前記右信号を変換することと、
前記周波数領域における所定の周波数のために、より小さい振幅を有する前記周波数領域における前記左信号及び前記右信号の1つとして、前記周波数領域において前記中央成分を定義することと、
短時間離散逆フーリエ変換を用いて、前記周波数領域から逆に前記時間領域に前記中央成分を変換することと、
前記左信号及び前記右信号から前記時間領域における前記中央成分を引くことにより、前記最初の左サイド成分及び前記最初の右サイド成分をそれぞれ生成することと
を更に含む、請求項21に記載のコンピュータプログラム製品。
【請求項25】
前記デジタルステレオオーディオ入力信号が、左信号及び右信号を更に含み、中間左サイド成分及び中間右サイド成分を取得するために、前記位置特定キューに従って、前記最初の左サイド成分及び前記最初の右サイド成分に前記中央成分をそれぞれパンする前記ステップが、
最初の中央左成分及び最初の中央右成分を取得するために、左振幅パニングパラメータ及び右振幅パニングパラメータを前記中央成分にそれぞれ適用することと、
前記左信号及び前記右信号間の両耳間時間差(ITD)及び両耳間強度差(IID)を決定することと、
中間中央左成分及び中間中央右成分を取得するために、前記最初の中央左成分及び前記最初の中央右成分の少なくとも1つに前記ITD及び前記IIDを適用することと、
前記中間左サイド成分及び前記中間右サイド成分を取得するために、前記最初の左サイド成分を前記中間中央左成分と、前記最初の右サイド成分を前記中間中央右成分とそれぞれ組み合わせることと
を更に含む、請求項21に記載のコンピュータプログラム製品。
【請求項26】
前記複数のステップが、
前記デジタルステレオオーディオ入力信号に関連する音源の角度を決定することと、
前記音源の前記角度に従って前記ITD及び前記IIDを計算することと、
前記ITDの時間シフト及び前記IIDの振幅乗算を前記最初の中央右成分に適用することにより、前記最初の中央右成分を更新することと、
前記中間中央左成分として、前記更新された最初の中央右成分を前記最初の中央左成分に組み合わせることと
を更に含む、請求項25に記載のコンピュータプログラム製品。
【請求項27】
前記複数のステップが、
前記左サイド成分及び前記右サイド成分にクロストークキャンセルを実行する前に、
帯域通過フィルタリングされた左サイド成分及び帯域通過フィルタリングされた右サイド成分を取得するために、第1の帯域通過フィルタを用いて、前記左サイド成分及び前記右サイド成分に等化をそれぞれ実行することと、
前記帯域通過フィルタリングされた左サイド成分及び前記帯域通過フィルタリングされた右サイド成分から前記左サイド成分及び前記右サイド成分を引くことにより、左サイド残差成分及び右サイド残差成分をそれぞれ生成することと、
前記左サイド成分及び前記右サイド成分にクロストークキャンセルを実行した後、
前記クロストークキャンセルされた左サイド成分及び前記クロストークキャンセルされた右サイド成分に前記左サイド残差成分及び前記右サイド残差成分をそれぞれ組み合わせることと
を更に含む、請求項21に記載のコンピュータプログラム製品。
【請求項28】
前記複数のステップが、前記第1の帯域通過フィルタを用いて、前記左サイド成分及び前記右サイド成分に等化を実行した後、第2の帯域通過フィルタを用いて、前記左サイド成分及び前記右サイド成分から所定の周波数帯域を取り除くことを更に含む、請求項27に記載のコンピュータプログラム製品。
【請求項29】
前記複数のステップが、前記第1の帯域通過フィルタを用いて、前記左サイド成分及び前記右サイド成分に等化を実行した後、所定の周波数帯域を他の周波数に対して強調するために、前記左サイド成分及び前記右サイド成分に第1のダイナミックレンジ圧縮を実行することを更に含む、請求項27に記載のコンピュータプログラム製品。
【請求項30】
前記複数のステップが、前記クロストークキャンセルされた左サイド成分及び前記クロストークキャンセルされた右サイド成分に前記左サイド残差成分及び前記右サイド残差成分をそれぞれ組み合わせた後、前記デジタルステレオオーディオ出力信号に前記位置特定キューを保持するために、前記クロストークキャンセルされた左サイド成分及び前記クロストークキャンセルされた右サイド成分に第2のダイナミックレンジ圧縮を実行することを更に含む、請求項27に記載のコンピュータプログラム製品。
【請求項31】
オーディオ信号を処理するための方法であって、
1つ又は複数のプロセッサと、メモリと、前記メモリに格納され、前記1つ又は複数のプロセッサによって実行される複数のプログラムモジュールとを有するコンピューティング装置によって、
左チャネル及び右チャネルを含むデジタルオーディオ入力信号を受信することと、
デジタルオーディオ入力信号から中央成分、左サイド成分及び右サイド成分を抽出することと、
前記左サイド成分及び前記右サイド成分に前記中央成分をそれぞれパンすることと、
前記中央成分の2つのコピーを前記左サイド成分及び前記右サイド成分とそれぞれアップミックスすることであって、前記中央成分の前記2つのコピー間に、前記中央成分の音像のステレオ幅に対応する所定の時間間隔がある、アップミックスすることと、
クロストークキャンセルされた左サイド成分及びクロストークキャンセルされた右サイド成分を取得するために、前記左サイド成分及び前記右サイド成分にクロストークキャンセルをそれぞれ実行することと、
前記クロストークキャンセルされた左サイド成分及び前記クロストークキャンセルされた右サイド成分を含むデジタルオーディオ出力信号を生成することと
を含み、
前記デジタルオーディオ出力信号は、前記所定の時間間隔に対応する先行音効果を有する、方法。
【請求項32】
オーディオ信号を処理するための方法であって、
1つ又は複数のプロセッサと、少なくとも2つのスピーカと、メモリと、前記メモリに格納され、前記1つ又は複数のプロセッサによって実行される複数のプログラムモジュールとを有するコンピューティング装置によって、
デジタルモノラルオーディオ入力信号を受信することと、
前記デジタルモノラルオーディオ入力信号から位置特定キューを抽出することと、
前記位置特定キューに従って、前記デジタルモノラルオーディオ入力信号から左サイド成分及び右サイド成分を少なくとも部分的に生成することと、
クロストークキャンセルされた左サイド成分及びクロストークキャンセルされた右サイド成分を取得するために、前記左サイド成分及び前記右サイド成分にクロストークキャンセルをそれぞれ実行することと、
前記クロストークキャンセルされた左サイド成分及び前記クロストークキャンセルされた右サイド成分を含むデジタルステレオオーディオ出力信号を生成することと
を含む方法。
【請求項33】
前記デジタルモノラルオーディオ入力信号から左サイド成分及び右サイド成分を生成する前記ステップが、
前記位置特定キューに従って、最初の左サイド成分及び最初の右サイド成分に前記デジタルモノラルオーディオ入力信号をそれぞれパンすることと、
前記左サイド成分及び前記右サイド成分を取得するために、前記デジタルモノラルオーディオ入力信号の第1のコピーを前記最初の左サイド成分と、前記デジタルモノラルオーディオ入力信号の第2のコピーを前記最初の右サイド成分とそれぞれアップミックスすることであって、前記デジタルモノラルオーディオ入力信号の前記第1及び第2のコピー間に所定の時間間隔がある、アップミックスすることと
を更に含む、請求項32に記載の方法。
【請求項34】
前記デジタルモノラルオーディオ入力信号、前記最初の左サイド成分、及び前記最初の右サイド成分が、マルチチャネルオーディオシステムのセンターチャネル、左サラウンド信号、及び右サラウンドチャネルにそれぞれ対応する、請求項33に記載の方法。
【請求項35】
前記位置特定キューに従って、最初の左サイド成分及び最初の右サイド成分に前記デジタルモノラルオーディオ入力信号をそれぞれパンする前記ステップが、
最初の中央左成分及び最初の中央右成分を取得するために、左振幅パニングパラメータ及び右振幅パニングパラメータを前記デジタルモノラルオーディオ入力信号にそれぞれ適用することと、
前記位置特定キューに従って、両耳間時間差(ITD)及び両耳間強度差(IID)を決定することと、
前記最初の左サイド成分及び前記最初の右サイド成分を取得するために、前記最初の中央左成分及び前記最初の中央右成分の少なくとも1つに前記ITD及び前記IIDを適用することと
を更に含む、請求項33に記載の方法。
【請求項36】
前記左サイド成分及び前記右サイド成分にクロストークキャンセルを実行する前に、
帯域通過フィルタリングされた左サイド成分及び帯域通過フィルタリングされた右サイド成分を取得するために、第1の帯域通過フィルタを用いて、前記左サイド成分及び前記右サイド成分に等化をそれぞれ実行することと、
前記帯域通過フィルタリングされた左サイド成分及び前記帯域通過フィルタリングされた右サイド成分から前記左サイド成分及び前記右サイド成分を引くことにより、左サイド残差成分及び右サイド残差成分をそれぞれ生成することと、
前記左サイド成分及び前記右サイド成分にクロストークキャンセルを実行した後、
前記クロストークキャンセルされた左サイド成分及び前記クロストークキャンセルされた右サイド成分に前記左サイド残差成分及び前記右サイド残差成分をそれぞれ組み合わせることと
を更に含む、請求項32に記載の方法。
【請求項37】
前記第1の帯域通過フィルタを用いて、前記左サイド成分及び前記右サイド成分に等化を実行した後、第2の帯域通過フィルタを用いて、前記左サイド成分及び前記右サイド成分から所定の周波数帯域を取り除くことを更に含む、請求項36に記載の方法。
【請求項38】
前記第1の帯域通過フィルタを用いて、前記左サイド成分及び前記右サイド成分に等化を実行した後、所定の周波数帯域を他の周波数に対して強調するために、前記左サイド成分及び前記右サイド成分に第1のダイナミックレンジ圧縮を実行することを更に含む、請求項36に記載の方法。
【請求項39】
前記左サイド成分及び前記右サイド成分に前記左サイド残差成分及び前記右サイド残差成分をそれぞれ組み合わせた後、前記デジタルステレオオーディオ出力信号に前記位置特定キューを保持するために、前記クロストークキャンセルされた左サイド成分及び前記クロストークキャンセルされた右サイド成分に第2のダイナミックレンジ圧縮を実行することを更に含む、請求項36に記載の方法。
【請求項40】
オーディオ信号を処理するためのコンピューティング装置であって、
1つ又は複数のプロセッサと、
メモリと、
前記メモリに格納され、前記1つ又は複数のプロセッサによって実行される複数のプログラムモジュールであって、前記1つ又は複数のプロセッサによって実行されると、複数のステップを前記コンピューティング装置に実行させる複数のプログラムモジュールと
を含み、前記複数のステップは、
デジタルモノラルオーディオ入力信号を受信することと、
前記デジタルモノラルオーディオ入力信号から位置特定キューを抽出することと、
前記位置特定キューに従って、前記デジタルモノラルオーディオ入力信号から左サイド成分及び右サイド成分を少なくとも部分的に生成することと、
クロストークキャンセルされた左サイド成分及びクロストークキャンセルされた右サイド成分を取得するために、前記左サイド成分及び前記右サイド成分にクロストークキャンセルをそれぞれ実行することと、
前記クロストークキャンセルされた左サイド成分及び前記クロストークキャンセルされた右サイド成分を含むデジタルステレオオーディオ出力信号を生成することと
を含む、コンピューティング装置。
【請求項41】
前記デジタルモノラルオーディオ入力信号から左サイド成分及び右サイド成分を生成する前記ステップが、
前記位置特定キューに従って、最初の左サイド成分及び最初の右サイド成分に前記デジタルモノラルオーディオ入力信号をそれぞれパンすることと、
前記左サイド成分及び前記右サイド成分を取得するために、前記デジタルモノラルオーディオ入力信号の第1のコピーを前記最初の左サイド成分と、前記デジタルモノラルオーディオ入力信号の第2のコピーを前記最初の右サイド成分とそれぞれアップミックスすることであって、前記デジタルモノラルオーディオ入力信号の前記第1及び第2のコピー間に所定の時間間隔がある、アップミックスすることと
を更に含む、請求項40に記載のコンピューティング装置。
【請求項42】
前記デジタルモノラルオーディオ入力信号、前記最初の左サイド成分、及び前記最初の右サイド成分が、マルチチャネルオーディオシステムのセンターチャネル、左サラウンド信号、及び右サラウンドチャネルにそれぞれ対応する、請求項41に記載のコンピューティング装置。
【請求項43】
前記位置特定キューに従って、最初の左サイド成分及び最初の右サイド成分に前記デジタルモノラルオーディオ入力信号をそれぞれパンする前記ステップが、
最初の中央左成分及び最初の中央右成分を取得するために、左振幅パニングパラメータ及び右振幅パニングパラメータを前記デジタルモノラルオーディオ入力信号にそれぞれ適用することと、
前記位置特定キューに従って、両耳間時間差(ITD)及び両耳間強度差(IID)を決定することと、
前記最初の左サイド成分及び前記最初の右サイド成分を取得するために、前記最初の中央左成分及び前記最初の中央右成分の少なくとも1つに前記ITD及び前記IIDを適用することと
を更に含む、請求項41に記載のコンピューティング装置。
【請求項44】
前記複数のステップが、
前記左サイド成分及び前記右サイド成分にクロストークキャンセルを実行する前に、
帯域通過フィルタリングされた左サイド成分及び帯域通過フィルタリングされた右サイド成分を取得するために、第1の帯域通過フィルタを用いて、前記左サイド成分及び前記右サイド成分に等化をそれぞれ実行することと、
前記帯域通過フィルタリングされた左サイド成分及び前記帯域通過フィルタリングされた右サイド成分から前記左サイド成分及び前記右サイド成分を引くことにより、左サイド残差成分及び右サイド残差成分をそれぞれ生成することと、
前記左サイド成分及び前記右サイド成分にクロストークキャンセルを実行した後、
前記クロストークキャンセルされた左サイド成分及び前記クロストークキャンセルされた右サイド成分に前記左サイド残差成分及び前記右サイド残差成分をそれぞれ組み合わせることと
を更に含む、請求項40に記載のコンピューティング装置。
【請求項45】
前記複数のステップが、前記第1の帯域通過フィルタを用いて、前記左サイド成分及び前記右サイド成分に等化を実行した後、第2の帯域通過フィルタを用いて、前記左サイド成分及び前記右サイド成分から所定の周波数帯域を取り除くことを更に含む、請求項44に記載のコンピューティング装置。
【請求項46】
前記複数のステップが、前記第1の帯域通過フィルタを用いて、前記左サイド成分及び前記右サイド成分に等化を実行した後、所定の周波数帯域を他の周波数に対して強調するために、前記左サイド成分及び前記右サイド成分に第1のダイナミックレンジ圧縮を実行することを更に含む、請求項44に記載のコンピューティング装置。
【請求項47】
前記複数のステップが、前記左サイド成分及び前記右サイド成分に前記左サイド残差成分及び前記右サイド残差成分をそれぞれ組み合わせた後、前記デジタルステレオオーディオ出力信号に前記位置特定キューを保持するために、前記クロストークキャンセルされた左サイド成分及び前記クロストークキャンセルされた右サイド成分に第2のダイナミックレンジ圧縮を実行することを更に含む、請求項44に記載のコンピューティング装置。
【請求項48】
オーディオ信号を処理するために1つ又は複数のプロセッサを有するコンピューティング装置に関連する非一時的なコンピュータ可読記憶媒体に格納されたコンピュータプログラム製品であって、複数のプログラムモジュールであって、前記1つ又は複数のプロセッサによって実行されると、複数のステップを前記コンピューティング装置に実行させる複数のプログラムモジュールを含み、前記複数のステップは、
デジタルモノラルオーディオ入力信号を受信することと、
前記デジタルモノラルオーディオ入力信号から位置特定キューを抽出することと、
前記位置特定キューに従って、前記デジタルモノラルオーディオ入力信号から左サイド成分及び右サイド成分を少なくとも部分的に生成することと、
クロストークキャンセルされた左サイド成分及びクロストークキャンセルされた右サイド成分を取得するために、前記左サイド成分及び前記右サイド成分にクロストークキャンセルをそれぞれ実行することと、
前記クロストークキャンセルされた左サイド成分及び前記クロストークキャンセルされた右サイド成分を含むデジタルステレオオーディオ出力信号を生成することと
を含む、コンピュータプログラム製品。
【請求項49】
前記デジタルモノラルオーディオ入力信号から左サイド成分及び右サイド成分を生成する前記ステップが、
前記位置特定キューに従って、最初の左サイド成分及び最初の右サイド成分に前記デジタルモノラルオーディオ入力信号をそれぞれパンすることと、
前記左サイド成分及び前記右サイド成分を取得するために、前記デジタルモノラルオーディオ入力信号の第1のコピーを前記最初の左サイド成分と、前記デジタルモノラルオーディオ入力信号の第2のコピーを前記最初の右サイド成分とそれぞれアップミックスすることであって、前記デジタルモノラルオーディオ入力信号の前記第1及び第2のコピー間に所定の時間間隔がある、アップミックスすることと
を更に含む、請求項48に記載のコンピュータプログラム製品。
【請求項50】
前記デジタルモノラルオーディオ入力信号、前記最初の左サイド成分、及び前記最初の右サイド成分が、マルチチャネルオーディオシステムのセンターチャネル、左サラウンド信号、及び右サラウンドチャネルにそれぞれ対応する、請求項49に記載のコンピュータプログラム製品。
【請求項51】
前記位置特定キューに従って、最初の左サイド成分及び最初の右サイド成分に前記デジタルモノラルオーディオ入力信号をそれぞれパンする前記ステップが、
最初の中央左成分及び最初の中央右成分を取得するために、左振幅パニングパラメータ及び右振幅パニングパラメータを前記デジタルモノラルオーディオ入力信号にそれぞれ適用することと、
前記位置特定キューに従って、両耳間時間差(ITD)及び両耳間強度差(IID)を決定することと、
前記最初の左サイド成分及び前記最初の右サイド成分を取得するために、前記最初の中央左成分及び前記最初の中央右成分の少なくとも1つに前記ITD及び前記IIDを適用することと
を更に含む、請求項49に記載のコンピュータプログラム製品。
【請求項52】
前記複数のステップが、
前記左サイド成分及び前記右サイド成分にクロストークキャンセルを実行する前に、
帯域通過フィルタリングされた左サイド成分及び帯域通過フィルタリングされた右サイド成分を取得するために、第1の帯域通過フィルタを用いて、前記左サイド成分及び前記右サイド成分に等化をそれぞれ実行することと、
前記帯域通過フィルタリングされた左サイド成分及び前記帯域通過フィルタリングされた右サイド成分から前記左サイド成分及び前記右サイド成分を引くことにより、左サイド残差成分及び右サイド残差成分をそれぞれ生成することと、
前記左サイド成分及び前記右サイド成分にクロストークキャンセルを実行した後、
前記クロストークキャンセルされた左サイド成分及び前記クロストークキャンセルされた右サイド成分に前記左サイド残差成分及び前記右サイド残差成分をそれぞれ組み合わせることと
を更に含む、請求項48に記載のコンピュータプログラム製品。
【請求項53】
前記複数のステップが、前記第1の帯域通過フィルタを用いて、前記左サイド成分及び前記右サイド成分に等化を実行した後、第2の帯域通過フィルタを用いて、前記左サイド成分及び前記右サイド成分から所定の周波数帯域を取り除くことを更に含む、請求項52に記載のコンピュータプログラム製品。
【請求項54】
前記複数のステップが、前記第1の帯域通過フィルタを用いて、前記左サイド成分及び前記右サイド成分に等化を実行した後、所定の周波数帯域を他の周波数に対して強調するために、前記左サイド成分及び前記右サイド成分に第1のダイナミックレンジ圧縮を実行することを更に含む、請求項52に記載のコンピュータプログラム製品。
【請求項55】
前記複数のステップが、前記左サイド成分及び前記右サイド成分に前記左サイド残差成分及び前記右サイド残差成分をそれぞれ組み合わせた後、前記デジタルステレオオーディオ出力信号に前記位置特定キューを保持するために、前記クロストークキャンセルされた左サイド成分及び前記クロストークキャンセルされた右サイド成分に第2のダイナミックレンジ圧縮を実行することを更に含む、請求項52に記載のコンピュータプログラム製品。
【請求項56】
オーディオ信号を処理するための方法であって、
1つ又は複数のプロセッサと、少なくとも2つのスピーカと、メモリと、前記メモリに格納され、前記1つ又は複数のプロセッサによって実行される複数のプログラムモジュールとを有するコンピューティング装置によって、
デジタルモノラルオーディオ入力信号を受信することと、
左サイド成分及び右サイド成分に前記デジタルモノラルオーディオ入力信号をそれぞれパンすることと、
前記デジタルモノラルオーディオ入力信号の2つのコピーを前記左サイド成分及び前記右サイド成分とそれぞれアップミックスすることであって、前記中央成分の前記2つのコピー間に所定の時間間隔がある、アップミックスすることと、
クロストークキャンセルされた左サイド成分及びクロストークキャンセルされた右サイド成分を取得するために、前記左サイド成分及び前記右サイド成分にクロストークキャンセルをそれぞれ実行することと、
前記クロストークキャンセルされた左サイド成分及び前記クロストークキャンセルされた右サイド成分を含むデジタルステレオオーディオ出力信号を生成することと
を含む方法。
【請求項57】
オーディオ信号を処理するための方法であって、
1つ又は複数のプロセッサと、少なくとも2つのスピーカと、メモリと、前記メモリに格納され、前記1つ又は複数のプロセッサによって実行される複数のプログラムモジュールとを有するコンピューティング装置によって、
デジタルステレオオーディオ入力信号を受信することと、
前記デジタルステレオオーディオ入力信号から中央成分、左サイド成分及び右サイド成分を抽出することと、
前記左サイド成分及び前記右サイド成分に前記中央成分をそれぞれパンすることと、
前記中央成分の第1及び第2のコピーを生成することであって、前記中央成分の前記第1及び第2のコピー間に所定の時間間隔がある、生成することと、
前記左サイド成分を備えた前記中央成分の前記第1のコピーを左チャネルに、前記右サイド成分を備えた前記中央成分の前記第2のコピーを右チャネルにそれぞれ組み合わせることと、
前記左チャネル及び前記右チャネルを含むデジタルステレオオーディオ出力信号を生成することと
を含む方法。
【請求項58】
前記デジタルステレオオーディオ入力信号が、左信号及び右信号を更に含み、及び前記デジタルステレオオーディオ入力信号から中央成分、左サイド成分、及び右サイド成分を抽出する前記ステップが、
短時間離散フーリエ変換を用いて、時間領域から周波数領域に前記左信号及び前記右信号を変換することと、
前記周波数領域における所定の周波数のために、より小さい振幅を有する前記周波数領域における前記左信号及び前記右信号の1つとして、前記周波数領域において前記中央成分を定義することと、
短時間離散逆フーリエ変換を用いて、前記周波数領域から逆に前記時間領域に前記中央成分を変換することと、
前記左信号及び前記右信号から前記時間領域における前記中央成分を引くことにより、前記左サイド成分及び前記右サイド成分をそれぞれ生成することと
を更に含む、請求項57に記載の方法。
【請求項59】
前記デジタルステレオオーディオ入力信号が、左信号及び右信号を更に含み、前記左サイド成分及び前記右サイド成分に前記中央成分をそれぞれパンする前記ステップが、
最初の中央左成分及び最初の中央右成分を取得するために、左振幅パニングパラメータ及び右振幅パニングパラメータを前記中央成分にそれぞれ適用することと、
前記左信号及び前記右信号間の両耳間時間差(ITD)及び両耳間強度差(IID)を決定することと、
中間中央左成分及び中間中央右成分を取得するために、前記最初の中央左成分及び前記最初の中央右成分の少なくとも1つに前記ITD及び前記IIDを適用することと、
前記左サイド成分を前記中間中央左成分と、前記最初の右サイド成分を前記中間中央右成分とそれぞれ組み合わせることと
を更に含む、請求項57に記載の方法。
【請求項60】
前記デジタルステレオオーディオ入力信号に関連する音源の角度を決定することと、
前記音源の前記角度に従って前記ITD及び前記IIDを計算することと、
前記ITDの時間シフト及び前記IIDの振幅乗算を前記最初の中央右成分に適用することにより、前記最初の中央右成分を更新することと、
前記中間中央左成分として、前記更新された最初の中央右成分を前記最初の中央左成分に組み合わせることと
を更に含む、請求項59に記載の方法。
【請求項61】
帯域通過フィルタリングされた左サイド成分及び帯域通過フィルタリングされた右サイド成分を取得するために、第1の帯域通過フィルタを用いて、前記左サイド成分及び前記右サイド成分に等化をそれぞれ実行することと、
前記帯域通過フィルタリングされた左サイド成分及び前記帯域通過フィルタリングされた右サイド成分から前記左サイド成分及び前記右サイド成分を引くことにより、左サイド残差成分及び右サイド残差成分をそれぞれ生成することと、
クロストークキャンセルされた左サイド成分及びクロストークキャンセルされた右サイド成分を取得するために、前記帯域通過フィルタリングされた左サイド成分及び前記帯域通過フィルタリングされた右サイド成分にクロストークキャンセルをそれぞれ実行することと、
前記クロストークキャンセルされた左サイド成分及び前記クロストークキャンセルされた右サイド成分に前記左サイド残差成分及び前記右サイド残差成分をそれぞれ組み合わせることと
を更に含む、請求項57に記載の方法。
【請求項62】
前記第1の帯域通過フィルタを用いて、前記左サイド成分及び前記右サイド成分に等化を実行した後、第2の帯域通過フィルタを用いて、前記左サイド成分及び前記右サイド成分から所定の周波数帯域を取り除くことを更に含む、請求項61に記載の方法。
【請求項63】
前記第1の帯域通過フィルタを用いて、前記左サイド成分及び前記右サイド成分に等化を実行した後、所定の周波数帯域を他の周波数に対して強調するために、前記左サイド成分及び前記右サイド成分に第1のダイナミックレンジ圧縮を実行することを更に含む、請求項61に記載の方法。
【請求項64】
前記クロストークキャンセルされた左サイド成分及び前記クロストークキャンセルされた右サイド成分に前記左サイド残差成分及び前記右サイド残差成分をそれぞれ組み合わせた後、前記デジタルステレオオーディオ出力信号に前記位置特定キューを保持するために、前記クロストークキャンセルされた左サイド成分及び前記クロストークキャンセルされた右サイド成分に第2のダイナミックレンジ圧縮を実行することを更に含む、請求項61に記載の方法。
【請求項65】
オーディオ信号を処理するためのコンピューティング装置であって、
1つ又は複数のプロセッサと、
メモリと、
前記メモリに格納され、前記1つ又は複数のプロセッサによって実行される複数のプログラムモジュールであって、前記1つ又は複数のプロセッサによって実行されると、複数のステップを前記コンピューティング装置に実行させる複数のプログラムモジュールと
を含み、前記複数のステップは、
デジタルステレオオーディオ入力信号を受信することと、
前記デジタルステレオオーディオ入力信号から中央成分、左サイド成分、及び右サイド成分を抽出することと、
前記左サイド成分及び前記右サイド成分に前記中央成分をそれぞれパンすることと、
前記中央成分の第1及び第2のコピーを生成することであって、前記中央成分の前記第1及び第2のコピー間に所定の時間間隔がある、生成することと、
前記左サイド成分を備えた前記中央成分の前記第1のコピーを左チャネルに、前記右サイド成分を備えた前記中央成分の前記第2のコピーを右チャネルにそれぞれ組み合わせることと、
前記左チャネル及び前記右チャネルを含むデジタルステレオオーディオ出力信号を生成することと
を含む、コンピューティング装置。
【請求項66】
前記デジタルステレオオーディオ入力信号が、左信号及び右信号を更に含み、及び前記デジタルステレオオーディオ入力信号から中央成分、左サイド成分、及び右サイド成分を抽出する前記ステップが、
短時間離散フーリエ変換を用いて、時間領域から周波数領域に前記左信号及び前記右信号を変換することと、
前記周波数領域における所定の周波数のために、より小さい振幅を有する前記周波数領域における前記左信号及び前記右信号の1つとして、前記周波数領域において前記中央成分を定義することと、
短時間離散逆フーリエ変換を用いて、前記周波数領域から逆に前記時間領域に前記中央成分を変換することと、
前記左信号及び前記右信号から前記時間領域における前記中央成分を引くことにより、前記左サイド成分及び前記右サイド成分をそれぞれ生成することと
を更に含む、請求項65に記載のコンピューティング装置。
【請求項67】
前記デジタルステレオオーディオ入力信号が、左信号及び右信号を更に含み、前記左サイド成分及び前記右サイド成分に前記中央成分をそれぞれパンする前記ステップが、
最初の中央左成分及び最初の中央右成分を取得するために、左振幅パニングパラメータ及び右振幅パニングパラメータを前記中央成分にそれぞれ適用することと、
前記左信号及び前記右信号間の両耳間時間差(ITD)及び両耳間強度差(IID)を決定することと、
中間中央左成分及び中間中央右成分を取得するために、前記最初の中央左成分及び前記最初の中央右成分の少なくとも1つに前記ITD及び前記IIDを適用することと、
前記左サイド成分を前記中間中央左成分と、前記最初の右サイド成分を前記中間中央右成分とそれぞれ組み合わせることと
を更に含む、請求項65に記載のコンピューティング装置。
【請求項68】
前記複数のステップが、
前記デジタルステレオオーディオ入力信号に関連する音源の角度を決定することと、
前記音源の前記角度に従って前記ITD及び前記IIDを計算することと、
前記ITDの時間シフト及び前記IIDの振幅乗算を前記最初の中央右成分に適用することにより、前記最初の中央右成分を更新することと、
前記中間中央左成分として、前記更新された最初の中央右成分を前記最初の中央左成分に組み合わせることと
を更に含む、請求項67に記載のコンピューティング装置。
【請求項69】
前記複数のステップが、
帯域通過フィルタリングされた左サイド成分及び帯域通過フィルタリングされた右サイド成分を取得するために、第1の帯域通過フィルタを用いて、前記左サイド成分及び前記右サイド成分に等化をそれぞれ実行することと、
前記帯域通過フィルタリングされた左サイド成分及び前記帯域通過フィルタリングされた右サイド成分から前記左サイド成分及び前記右サイド成分を引くことにより、左サイド残差成分及び右サイド残差成分をそれぞれ生成することと、
クロストークキャンセルされた左サイド成分及びクロストークキャンセルされた右サイド成分を取得するために、前記帯域通過フィルタリングされた左サイド成分及び前記帯域通過フィルタリングされた右サイド成分にクロストークキャンセルをそれぞれ実行することと、
前記クロストークキャンセルされた左サイド成分及び前記クロストークキャンセルされた右サイド成分に前記左サイド残差成分及び前記右サイド残差成分をそれぞれ組み合わせることと
を更に含む、請求項65に記載のコンピューティング装置。
【請求項70】
前記複数のステップが、前記第1の帯域通過フィルタを用いて、前記左サイド成分及び前記右サイド成分に等化を実行した後、第2の帯域通過フィルタを用いて、前記左サイド成分及び前記右サイド成分から所定の周波数帯域を取り除くことを更に含む、請求項69に記載のコンピューティング装置。
【請求項71】
前記複数のステップが、前記第1の帯域通過フィルタを用いて、前記左サイド成分及び前記右サイド成分に等化を実行した後、所定の周波数帯域を他の周波数に対して強調するために、前記左サイド成分及び前記右サイド成分に第1のダイナミックレンジ圧縮を実行することを更に含む、請求項69に記載のコンピューティング装置。
【請求項72】
前記クロストークキャンセルされた左サイド成分及び前記クロストークキャンセルされた右サイド成分に前記左サイド残差成分及び前記右サイド残差成分をそれぞれ組み合わせた後、前記デジタルステレオオーディオ出力信号に前記位置特定キューを保持するために、前記クロストークキャンセルされた左サイド成分及び前記クロストークキャンセルされた右サイド成分に第2のダイナミックレンジ圧縮を実行することを更に含む、請求項69に記載のコンピューティング装置。
【請求項73】
オーディオ信号を処理するために1つ又は複数のプロセッサを有するコンピューティング装置に関連する非一時的なコンピュータ可読記憶媒体に格納されたコンピュータプログラム製品であって、複数のプログラムモジュールであって、前記1つ又は複数のプロセッサによって実行されると、複数のステップを前記コンピューティング装置に実行させる複数のプログラムモジュールを含み、前記複数のステップは、
デジタルステレオオーディオ入力信号を受信することと、
前記デジタルステレオオーディオ入力信号から中央成分、左サイド成分、及び右サイド成分を抽出することと、
前記左サイド成分及び前記右サイド成分に前記中央成分をそれぞれパンすることと、
前記中央成分の第1及び第2のコピーを生成することであって、前記中央成分の前記第1及び第2のコピー間に所定の時間間隔がある、生成することと、
前記左サイド成分を備えた前記中央成分の前記第1のコピーを左チャネルに、前記右サイド成分を備えた前記中央成分の前記第2のコピーを右チャネルにそれぞれ組み合わせることと、
前記左チャネル及び前記右チャネルを含むデジタルステレオオーディオ出力信号を生成することと
を含む、コンピュータプログラム製品。
【請求項74】
前記デジタルステレオオーディオ入力信号が、左信号及び右信号を更に含み、及び前記デジタルステレオオーディオ入力信号から中央成分、左サイド成分、及び右サイド成分を抽出する前記ステップが、
短時間離散フーリエ変換を用いて、時間領域から周波数領域に前記左信号及び前記右信号を変換することと、
前記周波数領域における所定の周波数のために、より小さい振幅を有する前記周波数領域における前記左信号及び前記右信号の1つとして、前記周波数領域において前記中央成分を定義することと、
短時間離散逆フーリエ変換を用いて、前記周波数領域から逆に前記時間領域に前記中央成分を変換することと、
前記左信号及び前記右信号から前記時間領域における前記中央成分を引くことにより、前記左サイド成分及び前記右サイド成分をそれぞれ生成することと
を更に含む、請求項73に記載のコンピュータプログラム製品。
【請求項75】
前記デジタルステレオオーディオ入力信号が、左信号及び右信号を更に含み、前記左サイド成分及び前記右サイド成分に前記中央成分をそれぞれパンする前記ステップが、
最初の中央左成分及び最初の中央右成分を取得するために、左振幅パニングパラメータ及び右振幅パニングパラメータを前記中央成分にそれぞれ適用することと、
前記左信号及び前記右信号間の両耳間時間差(ITD)及び両耳間強度差(IID)を決定することと、
中間中央左成分及び中間中央右成分を取得するために、前記最初の中央左成分及び前記最初の中央右成分の少なくとも1つに前記ITD及び前記IIDを適用することと、
前記左サイド成分を前記中間中央左成分と、前記最初の右サイド成分を前記中間中央右成分とそれぞれ組み合わせることと
を更に含む、請求項73に記載のコンピュータプログラム製品。
【請求項76】
前記複数のステップが、
前記デジタルステレオオーディオ入力信号に関連する音源の角度を決定することと、
前記音源の前記角度に従って前記ITD及び前記IIDを計算することと、
前記ITDの時間シフト及び前記IIDの振幅乗算を前記最初の中央右成分に適用することにより、前記最初の中央右成分を更新することと、
前記中間中央左成分として、前記更新された最初の中央右成分を前記最初の中央左成分に組み合わせることと
を更に含む、請求項75に記載のコンピュータプログラム製品。
【請求項77】
前記複数のステップが、
帯域通過フィルタリングされた左サイド成分及び帯域通過フィルタリングされた右サイド成分を取得するために、第1の帯域通過フィルタを用いて、前記左サイド成分及び前記右サイド成分に等化をそれぞれ実行することと、
前記帯域通過フィルタリングされた左サイド成分及び前記帯域通過フィルタリングされた右サイド成分から前記左サイド成分及び前記右サイド成分を引くことにより、左サイド残差成分及び右サイド残差成分をそれぞれ生成することと、
クロストークキャンセルされた左サイド成分及びクロストークキャンセルされた右サイド成分を取得するために、前記帯域通過フィルタリングされた左サイド成分及び前記帯域通過フィルタリングされた右サイド成分にクロストークキャンセルをそれぞれ実行することと、
前記クロストークキャンセルされた左サイド成分及び前記クロストークキャンセルされた右サイド成分に前記左サイド残差成分及び前記右サイド残差成分をそれぞれ組み合わせることと
を更に含む、請求項73に記載のコンピュータプログラム製品。
【請求項78】
前記複数のステップが、前記第1の帯域通過フィルタを用いて、前記左サイド成分及び前記右サイド成分に等化を実行した後、第2の帯域通過フィルタを用いて、前記左サイド成分及び前記右サイド成分から所定の周波数帯域を取り除くことを更に含む、請求項77に記載のコンピュータプログラム製品。
【請求項79】
前記複数のステップが、前記第1の帯域通過フィルタを用いて、前記左サイド成分及び前記右サイド成分に等化を実行した後、所定の周波数帯域を他の周波数に対して強調するために、前記左サイド成分及び前記右サイド成分に第1のダイナミックレンジ圧縮を実行することを更に含む、請求項77に記載のコンピュータプログラム製品。
【請求項80】
前記複数のステップが、前記クロストークキャンセルされた左サイド成分及び前記クロストークキャンセルされた右サイド成分に前記左サイド残差成分及び前記右サイド残差成分をそれぞれ組み合わせた後、前記デジタルステレオオーディオ出力信号に前記位置特定キューを保持するために、前記クロストークキャンセルされた左サイド成分及び前記クロストークキャンセルされた右サイド成分に第2のダイナミックレンジ圧縮を実行することを更に含む、請求項77に記載のコンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【0001】
技術分野
本出願は、概して、オーディオ信号処理に関し、特にサウンドステージ拡張のためのコンピュータ実行方法、機器及びコンピュータ使用可能プログラムコードに関する。
【背景技術】
【0002】
背景
両耳聴は、ほとんどのリスニングタスクにおいて性能を改善する。2チャネルステレオが1950年代後半に標準的な消費者媒体になり、その導入の84年後でさえ、やはり最も一般的に用いられる再生システムである。モノラルからステレオ、マルチチャネルへと進みながら、消費者は、より没入型リスニング体験を常に追求している。没入型サウンドの生成に対する過去及び現在の努力は、多数のスピーカ、又は仮想スピーカのみをシミュレートする頭部伝達関数(HRTF)関連のアプローチを用いることに主に集中してきた。
【0003】
過去数十年間に没入型サウンドの分野で多くの努力がなされてきたが、現存のシステムに関して依然として様々な限界が存在する。例えば、シミュレートされた仮想スピーカを用いて真の360°音響効果を生成するのは難しく、聴取者は、所望の結果を得るために固定位置にとどまらなければならない。これは、典型的には、指向性伝達関数、例えば頭部伝達関数又は両耳室内インパルス応答のセットを音源に適用することによって行われる。別の従来的な解決法は、一層多くのラウドスピーカ、例えば22のチャネル+2つのサブウーファチャネルをサウンドシステムに組み込むことである。このアプローチは、実現のために必要とされる高コスト及び大きい空間のため、多くの場合に実際的ではない可能性がある。
【発明の概要】
【発明が解決しようとする課題】
【0004】
概要
本出願の目的は、デスクトップ又はラップトップなどのデータ処理システムに関連して堅牢なサウンドステージ拡張方法を開発することである。方法は、モノラル信号、ステレオ信号、又はマルチチャネル信号とすることができるオーディオ入力信号から没入型サウンド効果を生成することができる。
【課題を解決するための手段】
【0005】
本出願の第1の態様によれば、オーディオ信号を処理するための方法は、1つ又は複数のプロセッサと、少なくとも2つのスピーカと、メモリと、メモリに格納され、1つ又は複数のプロセッサによって実行される複数のプログラムモジュールとを有するコンピューティング装置において実行される。方法は、次のステップ:デジタルステレオオーディオ入力信号を受信するステップと、デジタルステレオオーディオ入力信号から位置特定キューを抽出するステップと、位置特定キューに従って、デジタルステレオオーディオ入力信号から左サイド成分及び右サイド成分を少なくとも部分的に生成するステップと、クロストークキャンセルされた左サイド成分及びクロストークキャンセルされた右サイド成分を取得するために、左サイド成分及び右サイド成分にクロストークキャンセルをそれぞれ実行するステップと、クロストークキャンセルされた左サイド成分及びクロストークキャンセルされた右サイド成分を含むデジタルステレオオーディオ出力信号を生成するステップとを含む。本出願の別の態様によれば、コンピューティング装置は、1つ又は複数のプロセッサと、メモリと、メモリに格納され、1つ又は複数のプロセッサによって実行される複数のプログラムモジュールとを含む。複数のプログラムモジュールは、1つ又は複数のプロセッサによって実行されると、オーディオ信号を処理するための上記の方法をコンピューティング装置に実行させる。本出願の更に別の態様によれば、1つ又は複数のプロセッサを有するコンピューティング装置と関連する非一時的なコンピュータ可読記憶媒体に格納されたコンピュータプログラム製品であり、コンピュータプログラム製品は、複数のプログラムモジュールであって、1つ又は複数のプロセッサによって実行されると、オーディオ信号を処理するための上記の方法をコンピューティング装置に実行させる複数のプログラムモジュールを含む。
【0006】
本出願の第2の態様によれば、オーディオ信号を処理するための方法は、1つ又は複数のプロセッサと、少なくとも2つのスピーカと、メモリと、メモリに格納され、1つ又は複数のプロセッサによって実行される複数のプログラムモジュールとを有するコンピューティング装置において実行される。方法は、デジタルモノラルオーディオ入力信号を受信することと、デジタルモノラルオーディオ入力信号を左サイド成分及び右サイド成分にそれぞれパンすることと、デジタルモノラルオーディオ入力信号の2つのコピーを左サイド成分及び右サイド成分とそれぞれアップミックスすることであって、中央成分の2つのコピー間に所定の時間間隔がある、アップミックスすることと、クロストークキャンセルされた左サイド成分及びクロストークキャンセルされた右サイド成分を取得するために、左サイド成分及び右サイド成分にクロストークキャンセルをそれぞれ実行することと、クロストークキャンセルされた左サイド成分及びクロストークキャンセルされた右サイド成分を含むデジタルステレオオーディオ出力信号を生成することとを含む。本出願の別の態様によれば、コンピューティング装置は、1つ又は複数のプロセッサと、メモリと、メモリに格納され、1つ又は複数のプロセッサによって実行される複数のプログラムモジュールとを含む。複数のプログラムモジュールは、1つ又は複数のプロセッサによって実行されると、オーディオ信号を処理するための上記の方法をコンピューティング装置に実行させる。本出願の更に別の態様によれば、1つ又は複数のプロセッサを有するコンピューティング装置と関連する非一時的なコンピュータ可読記憶媒体に格納されたコンピュータプログラム製品であり、コンピュータプログラム製品は、複数のプログラムモジュールであって、1つ又は複数のプロセッサによって実行されると、オーディオ信号を処理するための上記の方法をコンピューティング装置に実行させる複数のプログラムモジュールを含む。
【0007】
本出願の第3の態様によれば、オーディオ信号を処理するための方法は、1つ又は複数のプロセッサと、少なくとも2つのスピーカと、メモリと、メモリに格納され、1つ又は複数のプロセッサによって実行される複数のプログラムモジュールとを有するコンピューティング装置において実行される。方法は、デジタルステレオオーディオ入力信号を受信することと、デジタルステレオオーディオ入力信号から中央成分、左サイド成分、及び右サイド成分を抽出することと、左サイド成分及び右サイド成分に中央成分をそれぞれパンすることと、中央成分の第1及び第2のコピーを生成することであって、中央成分の第1及び第2のコピー間に所定の時間間隔がある、生成することと、左サイド成分を備えた中央成分の第1のコピーを左チャネルに、右サイド成分を備えた中央成分の第2のコピーを右チャネルにそれぞれ組み合わせることと、左チャネル及び右チャネルを含むデジタルステレオオーディオ出力信号を生成することとを含む。本出願の別の態様によれば、コンピューティング装置は、1つ又は複数のプロセッサと、メモリと、メモリに格納され、1つ又は複数のプロセッサによって実行される複数のプログラムモジュールとを含む。複数のプログラムモジュールは、1つ又は複数のプロセッサによって実行されると、オーディオ信号を処理するための上記の方法をコンピューティング装置に実行させる。本出願の更に別の態様によれば、1つ又は複数のプロセッサを有するコンピューティング装置と関連する非一時的なコンピュータ可読記憶媒体に格納されたコンピュータプログラム製品であり、コンピュータプログラム製品は、複数のプログラムモジュールであって、1つ又は複数のプロセッサによって実行されると、オーディオ信号を処理するための上記の方法をコンピューティング装置に実行させる複数のプログラムモジュールを含む。
【0008】
本出願の第4の態様によれば、オーディオ信号を処理するための方法は、1つ又は複数のプロセッサと、メモリと、メモリに格納され、1つ又は複数のプロセッサによって実行される複数のプログラムモジュールとを有するコンピューティング装置において実行される。方法は、デジタルオーディオ入力信号を受信することと、所定の周波数範囲内のデジタルオーディオ入力信号を拡張することによって等化を実行し、等化されたオーディオ信号から残差オーディオ信号を生成することと、等化されたオーディオ信号にダイナミックレンジ圧縮を実行することと、クロストークキャンセルされたオーディオ信号を取得するために、等化されたオーディオ信号にクロストークキャンセルを実行することと、クロストークキャンセルされたオーディオ信号及び残差オーディオ信号をデジタルオーディオ出力信号に組み合わせることとを含む。本出願の別の態様によれば、コンピューティング装置は、1つ又は複数のプロセッサと、メモリと、メモリに格納され、1つ又は複数のプロセッサによって実行される複数のプログラムモジュールとを含む。複数のプログラムモジュールは、1つ又は複数のプロセッサによって実行されると、オーディオ信号を処理するための上記の方法をコンピューティング装置に実行させる。本出願の更に別の態様によれば、1つ又は複数のプロセッサを有するコンピューティング装置と関連する非一時的なコンピュータ可読記憶媒体に格納されたコンピュータプログラム製品であり、コンピュータプログラム製品は、複数のプログラムモジュールであって、1つ又は複数のプロセッサによって実行されると、オーディオ信号を処理するための上記の方法をコンピューティング装置に実行させる複数のプログラムモジュールを含む。
【0009】
図面の簡単な説明
実施形態の更なる理解を提供するために含まれ、本明細書に組み込まれ、且つ本明細書の一部を構成する添付の図面は、説明された実施形態を図示し、記載と一緒に根本原理を説明する役割を果たす。同様の参照数字は、対応する部分を指す。
【図面の簡単な説明】
【0010】
【
図1】本出願の実例的な実施形態によるコンピュータシステムのブロック図である。
【
図2A】実例的な実施形態による、異なるステージを含むステレオ又はモノラル音声入力信号の音声処理パイプラインを示すブロック図である。
【
図2B】実例的な実施形態による、ステレオオーディオ入力信号から没入型サウンド効果を生成するプロセスを示すフローチャートである。
【
図3A】実例的な実施形態による、ステレオオーディオ入力信号から没入型サウンド効果を生成する前処理ステップのフローチャートである。
【
図3B】実例的な実施形態による、ステレオオーディオ入力信号から没入型サウンド効果を生成する前処理ステップのブロック図である。
【
図4A】実例的な実施形態による、左信号及び右信号を含むオーディオ信号を3つの成分に変換するフローチャートである。
【
図4B】実例的な実施形態による、オーディオ信号の左信号及び右信号のブロック図である。
【
図4C】実例的な実施形態による、オーディオ信号から生成された3つの成分のブロック図である。
【
図5A】実例的な実施形態による、オーディオ信号の中央成分を2つのサイド成分にパンするフローチャートである。
【
図5B】実例的な実施形態による、音源の空間キューを決定する、且つオーディオ信号の中央左及び中央右成分の1つに空間キューを適用するフローチャートである。
【
図5C】実例的な実施形態による、音源の角度を示すブロック図である。
【
図5D】実例的な実施形態による、両耳間時間差(ITD)と音源角度との間の関係を示すブロック図である。
【
図5E】実例的な実施形態による、両耳間強度差(IID)と音源角度との間の関係を示すブロック図である。
【
図6】実例的な実施形態による、オーディオ信号の左サイド及び右サイド成分にクロストークキャンセルを実行する前及び後の処理ステップのフローチャートである。
【
図7A】実例的な実施形態による、オーディオ信号のダイナミックレンジ圧縮のフローチャートである。
【
図7B】実例的な実施形態による、オーディオ信号のダイナミックレンジ圧縮のフローチャートである。
【
図7C】実例的な実施形態による、オーディオ信号のダイナミックレンジ圧縮のフローチャートである。
【
図8A】実例的な実施形態による、ステレオ/マルチチャネル音声信号をマルチチャネル/ステレオ音声信号に変換する異なる音声処理ステージを示すブロック図である。
【
図8B】実例的な実施形態による、ステレオ/マルチチャネル音声信号をマルチチャネル/ステレオ音声信号に変換する異なる音声処理ステージを示すブロック図である。
【
図8C】実例的な実施形態による、ステレオ/マルチチャネル音声信号をマルチチャネル/ステレオ音声信号に変換する異なる音声処理ステージを示すブロック図である。
【発明を実施するための形態】
【0011】
詳細な説明
ここで、実施形態に対する詳細な言及がなされ、実施形態の例は、添付の図面に示される。以下の詳細な説明において、本明細書で提示される主題を理解する際の支援となるように、多数の非限定的な特定の詳細が明らかにされる。しかし、様々な代替が特許請求の範囲から逸脱せずに使用され、主題がこれらの特定の詳細なしに実行され得ることが当業者に明らかであろう。例えば、本明細書で提示される主題がスマートフォン及びタブレットなどの多くのタイプの無線通信システム上で実行され得ることが当業者に明らかであろう。
【0012】
ここで、図に関連して、特に
図1に関連して、実例的な実施形態が実施され得るデータ処理環境の例示的なブロック図が提供される。
図1は、単に例示的であり、異なる実施形態が実施され得る環境に関連するいかなる限定も主張又は意味することを意図されないことを認識されたい。表現された環境に対して多くの修正がなされ得る。
【0013】
図1は、本出願の実例的な実施形態による、データ処理システム100のブロック図を示す。この実例的な例において、データ処理システム100は、通信ファブリック102を含み、通信ファブリック102は、プロセッサユニット104、メモリ106、永続記憶装置108、通信ユニット110、入力/出力(I/O)ユニット112、ディスプレイ114、及び1つ又は複数のスピーカ116間の通信を提供する。スピーカ116がデータ処理システム100に組み込まれるか、又はデータ処理システム100の外部にあり得ることに留意されたい。幾つかの実施形態において、データ処理システム100は、ラップトップコンピュータ、デスクトップコンピュータ、タブレットコンピュータ、携帯電話(スマートフォンなど)、マルチメディアプレーヤ装置、ナビゲーション装置、教育装置(子供の学習玩具など)、ゲームシステム、又は制御装置(例えば、家庭若しくは産業コントローラ)の形態を取り得る。
【0014】
プロセッサユニット104は、メモリ106にロードされ得るソフトウエアプログラムのための命令を実行する役割を果たす。プロセッサユニット104は、特定の実装形態に依存して、1つ又は複数のプロセッサセットであり得、又はマルチプロセッサコアであり得る。更に、プロセッサユニット104は、メインプロセッサユニットがシングルチップ上で二次プロセッサと共に存在する1つ又は複数の異種混合プロセッサシステムを用いて実現され得る。別の実例的な例として、プロセッサユニット104は、同じタイプの多数のプロセッサを含む対称マルチプロセッサシステムであり得る。
【0015】
これらの例において、メモリ106は、ランダムアクセスメモリ、又は任意の他の適切な揮発性若しくは不揮発性記憶装置であり得る。永続記憶装置108は、特定の実装形態に依存して様々な形態を取り得る。例えば、永続記憶装置108は、ハードドライブ、フラッシュメモリ、書き換え可能光ディスク、書き換え可能磁気テープ、又はそれらのある組み合わせなどの1つ又は複数のコンポーネント又は装置を含み得る。永続記憶装置108によって用いられる媒体はまた、着脱可能であり得る。例えば、着脱可能なハードドライブが永続記憶装置108のために使用され得る。
【0016】
これらの例において、通信ユニット110は、他のデータ処理システム又は装置との通信に備える。これらの例において、通信ユニット110は、ネットワークインターフェースカードである。通信ユニット110は、物理及び無線通信リンクのどちらか又は両方の使用を介して通信を提供し得る。
【0017】
入力/出力ユニット112は、データ処理システム100に接続され得る他の装置とのデータの入力/出力を可能にする。例えば、入力/出力ユニット112は、キーボード及びマウスを介してユーザ入力のための接続を提供し得る。更に、入力/出力ユニット112は、プリンタに出力を送信し得る。ディスプレイ114は、ユーザに情報を表示する機構を提供する。スピーカ116は、ユーザに音声を送り出す。
【0018】
オペレーティングシステム及びアプリケーション又はプログラムのための命令は、永続記憶装置108に位置する。これらの命令は、プロセッサユニット104による実行のためにメモリ106にロードされ得る。以下で説明されるような異なる実施形態のプロセスは、コンピュータ実行命令を用いてプロセッサユニット104によって実行され得、コンピュータ実行命令は、メモリ106などのメモリに位置し得る。これらの命令は、プログラムコード(若しくはモジュール)、コンピュータ使用可能プログラムコード(若しくはモジュール)、又はプロセッサユニット104におけるプロセッサによって読み出され実行され得るコンピュータ可読プログラムコード(若しくはモジュール)と呼ばれる。異なる実施形態におけるプログラムコード(又はモジュール)は、メモリ106又は永続記憶装置108など、異なる物理的又は実体的コンピュータ可読媒体上に具体化され得る。
【0019】
プログラムコード/モジュール120は、選択的に着脱可能なコンピュータ可読記憶媒体118上に機能形態で位置し、且つプロセッサユニット104による実行のためにデータ処理システム100にロード又は転送され得る。プログラムコード/モジュール120及びコンピュータ可読記憶媒体118は、これらの例においてコンピュータプログラム製品122を形成する。一例において、コンピュータ可読記憶媒体118は、永続記憶装置108の一部であるハードドライブなど、記憶装置上への転送のために、永続記憶装置108の一部であるドライブ又は他の装置内に挿入又は配置される例えば光又は磁気ディスクなどの実体的形態であり得る。実体的形態において、コンピュータ可読記憶媒体118はまた、データ処理システム100に接続されるハードドライブ、サムドライブ、又はフラッシュメモリなどの永続記憶装置の形態を取り得る。コンピュータ可読記憶媒体118の実体的形態はまた、コンピュータ記録可能記憶媒体と呼ばれる。幾つかの例において、コンピュータ可読記憶媒体118は、データ処理システム100から着脱可能でなくてもよい。
【0020】
代替として、プログラムコード/モジュール120は、コンピュータ可読記憶媒体118から通信ユニット110への通信リンクを介して、且つ/又は入力/出力ユニット112への接続部を介してデータ処理システム100に転送され得る。通信リンク及び/又は接続部は、実例的な例において物理的又は無線であり得る。コンピュータ可読媒体はまた、プログラムコード/モジュールを含む通信リンク又は無線送信などの非実体的な媒体の形態を取り得る。
【0021】
データ処理システム100のために示されている異なるコンポーネントは、異なる実施形態が実施され得る方法にアーキテクチャを限定することを意味しない。異なる実例的な実施形態は、データ処理システム100のために示されているコンポーネントに加えて又はそれらの代わりのコンポーネントを含むデータ処理システムにおいて実施され得る。
図1に示されている他のコンポーネントは、示されている実例的な例から変更することができる。
【0022】
一例として、データ処理システム100における記憶装置は、データを格納し得る任意のハードウェア機器である。メモリ106、永続記憶装置108、及びコンピュータ可読記憶媒体118は、実体的形態の記憶装置の例である。
【0023】
別の例において、バスシステムが通信ファブリック102を実現するために用いられ得、且つシステムバス又は入力/出力バスなどの1つ又は複数のバスで構成され得る。バスシステムは、バスシステムに装着される異なるコンポーネント又は装置間のデータ転送に備える任意の適切なタイプのアーキテクチャを用いて実現され得る。加えて、通信ユニットは、モデム又はネットワークアダプタなど、データを送信及び受信するために用いられる1つ又は複数の装置を含み得る。更に、メモリは、通信ファブリック102に存在し得るインターフェース及びメモリコントローラハブに見つかるような例えばメモリ106又はキャッシュであり得る。
【0024】
本出願の背景において説明した従来のアプローチに関する問題を克服するために、本出願の異なる実施形態が以下で説明され、且つ人間の聴覚系を惑わす音響心理学の原理に基づいたオーディオ信号処理方法のセットに関連付けられる。従来の方法と異なり、シミュレートされた又は物理的なスピーカを生成するための要件は存在しない。方法は、入力/出力チャネルの数にかかわらず、音質を不変に維持しながら、3Dのような没入型サウンド効果を生成する。
【0025】
人間の聴覚系は、両耳間差によって提示される音事象の方向を決定し、その音事象の幅は、両耳間相関によって主に寄与される。音波が2つの耳に達する場合、鼓膜の一次元運動がその音源の性質にかかわらず生成される。幾つかの実施形態によれば、空間位置特定キューは、位置依存パターンにおいて聴取者の鼓膜を最終的に動作させるチャネル間差として、処理されたオーディオ信号に戻される。従来のアプローチと異なり、かかる動作は、(聴取者の頭部形状及び他の身体部分に依存する)聴取者自身の伝達関数、並びに部屋サイズ及び用いられているラウドスピーカシステムなどの異なる再生環境に基づく。かかるものとして、聴覚系は、提供された聴覚空間を抽出し、且つ音事象を合成するために、オーディオ信号に埋め込まれた関連する物理的キューを分析し比較することができる。
【0026】
図2Aは、実例的な実施形態による、異なるステージを含むステレオ又はモノラル音声入力信号の音声処理パイプラインを示すブロック図である。幾つかの実施形態において、このパイプラインへの入力は、左信号(L)及び右信号(L)を含むステレオオーディオ入力信号210である。他の幾つかの実施形態において、入力は、モノラルオーディオ信号250である。パイプラインは、3つのステージ:前処理ステージ220、サウンド拡張処理ステージ230、及び後処理ステージ240を含む。各処理ステージは、入力オーディオ信号を処理し、それに応じて出力オーディオ信号を生成するための1つ又は複数の処理ブロックを含む。例えば、前処理ステージ220は、中央/サイド(M/S)ミキサ221、オーディオ信号パニングツール223、及びアップミキサ227を更に含む。サウンド拡張処理ステージ230は、イコライザ(EQ)231、ダイナミックレンジコンプレッサ(DRC)233、及びクロストークキャンセルブロック235を含む。後処理ステージ240は、別のダイナミックレンジコンプレッサ(DRC)241を含む。
【0027】
M/Sミキサ221は、ステレオオーディオ入力信号210から3つの成分(サイド
L、サイド
R及び中央)を生成するミキシングツールである。単に1つのサイド成分及び1つのモノラル成分を生成するのみの従来のM/Sミキシングツールと異なり、M/Sミキサ221は、様々な後続の分析に有用な入力信号における情報を分離するために、且つ音質(例えば、音色)における不必要な歪みを最小化するためにある。そうすることにより、M/Sミキサ221によって生成された異なる成分間の相関は低減される。
【0028】
図2Aに示されているように、M/Sミキサ221の出力は、3つの成分を含み、それらの成分の1つは、中央成分(M)であり、他の2つは、文字「S」によって表される。次に、中央成分Mは、パンブロック225に入力される。パンブロック225は、中央信号をサウンドステージのいずれかの箇所に「再配置」し、且つサウンドステージにおいて全体的な音響効果を最適化するか又はある音を強調する役割を果たす。このプロセス中、中央信号は、モノラル音声信号250と同様に扱われる。ユーザは、自分の意図に基づいて、あるパラメータをパニングプロセスに適用することにより、中央信号(又はモノラル信号)の位置を変更することができる。パンされた中央信号(中央
L及び中央
R)は、M/Sミキサ221によって生成されたサイド成分(サイド
L及びサイド
R)に追加され、このようにして新しいサイド
L及びサイド
R成分になる。
【0029】
図2Aに示されているように、前処理ステージ220におけるアップミキサ227は、中央成分(又はモノラル信号)を2つのコピーへと2倍にし、且つ2つのコピーの1つに所定の時間遅延を追加し、次にそれらを新しいサイド
L及びサイド
R成分にそれぞれ追加する。幾つかの実施形態(
図2Aに示されている)において、増幅器が、新しいサイド
L及びサイド
R成分、並びにアップミックスされた中央/モノラル成分にそれぞれ適用され、その後、それらは一緒に組み合わされる。以下で説明されるように、中央成分(又はモノラル信号)の2つのコピー間の遅延時間は、サウンドステージの中央にある音像に一層大きいステレオ幅を追加することにより、いわゆる先行音効果を達成するように慎重に選択される。
【0030】
図2Aに示されているように、前処理ステージ220の出力は、2つのオーディオ信号サイド
L及びサイド
Rを含む。それらは、サウンド拡張処理ステージ230への入力であり、そこで異なる処理ブロックによって処理される。例えば、2つのサイド信号が遭遇するイコライザ(EQ)231は、2つのサイド信号に帯域通過フィルタリングを実行するための1つ又は複数のマルチバンドイコライザを含む。幾つかの実施形態において、各サイド信号に適用されるマルチバンドイコライザは同じである。他の幾つかの実施形態において、1つのサイド信号に適用されるマルチバンドイコライザは、もう一方のサイド信号に適用されるマルチバンドイコライザと同じではない。それにもかかわらず、それらの機能は、音声信号の原色を維持すること、及びこれらの2つの信号における曖昧な空間キューを回避することである。幾つかの実施形態において、このEQ231はまた、2つのサイド成分のスペクトル分析に基づいてターゲット音源を選択するために用いることができる。
【0031】
図2Aに示されているように、パイプラインは、2つのダイナミックレンジコンプレッサ233及び241を含む。幾つかの実施形態において、第1のダイナミックレンジコンプレッサ233は、クロストークキャンセルブロック235によって達成されたサウンドステージ拡張効果を最大限にするために、所定の周波数範囲内の2つの音声信号を増幅するための帯域通過フィルタリング機構を含む。第2のダイナミックレンジコンプレッサ241は、オーディオマスタリングプロセスにおける音声信号の全体的な出力レベルを増幅するために、後処理ステージ240において用いられる。
【0032】
クロストークは、ステレオラウドスピーカ再生における固有の問題である。それは、音が各スピーカから反対側の耳に届く場合に発生し、且つ原信号に望ましくないスペクトル音色を導入する。この問題の解決策は、クロストークキャンセル(XTC)アルゴリズムである。一タイプのXTCアルゴリズムは、聴取者の位置に対する2つの物理的なラウドスピーカの角度を表すために、頭部伝達関数(HRTF)及び/又は両耳室内インパルス応答(BRIR)などの一般化された指向性両耳伝達関数を用いることである。
【0033】
クロストークキャンセルブロック235によって表される別のタイプのXTCアルゴリズムシステムは、頭部伝達関数(HRTF)も、両耳室内インパルス応答(BRIR)も、いかなる他の両耳伝達関数も必要としない再帰的なクロストークキャンセル方法である。基本アルゴリズムは、以下のように定式化することができる。
左[n]=左[n]−A
L*右[n−d
L]
右[n]=右[n]−A
R*左[n−d
R]
ここで、A
L及びA
Rは、信号の減衰係数であり、d
L及びd
Rは、それぞれのスピーカから反対側の耳までのデータサンプル数における遅延である。クロストークキャンセルブロック235のより詳細な説明は、2014年12月12日出願の「APPARATUS AND METHOD FOR SOUND STAGE ENHANCEMENT」という名称の米国特許出願公開第14/569,490号に見出すことができ、この出願は、その全体が参照により援用される。
【0034】
図2Aは、EQ231からの2ペアの出力信号が存在することを示す。1ペアの出力信号(即ち帯域通過フィルタリングされたオーディオ信号のペア)は、一列のDRC233、XTC235、及び任意選択の別の増幅器によって処理される。もう一方のペアの出力信号は、帯域通過フィルタリングされたオーディオ信号のペアと入力サイド信号のペアとの間の残差として定義される。次に、この残差信号のペアは、増幅器に供給され、その後、クロストークキャンセル動作を受けた2つのオーディオ信号と組み合わされる。
図2Aに示されているように、パイプラインの出力は、左チャネル(L’)及び右チャネル(R’)を含むステレオオーディオ信号である。同じパイプラインが、左チャネル(L’)及び右チャネル(R’)を含むステレオオーディオ信号にモノラルオーディオ入力信号250を変換できることに留意されたい。
【0035】
図2Bは、実例的な実施形態による、
図1に示されているデータ処理システム100を用いてステレオオーディオ入力信号から没入型サウンド効果を生成するプロセスを示すフローチャートである。データ処理システム100は、デジタルオーディオ入力信号を受信する(281)。幾つかの実施形態において、デジタルオーディオ入力信号は、左信号(「左チャネル」としても知られている)及び右信号(「右チャネル」としても知られている)を含む。次に、データ処理システム100は、デジタルオーディオ信号から位置特定キューを抽出する(283)。幾つかの実施形態において、位置特定キューは、聴取者の位置と同様に、聴取者の2つの耳に到達するオーディオ信号間の両耳間時間差及び両耳強度差に関連してステレオ信号を生成する音源の角度を含む。次に、データ処理システム100は、デジタルオーディオ入力信号から左サイド成分及び右サイド成分を生成する(285)。幾つかの実施形態において、2つのサイド成分は、前のステップによって生成された位置特定キューに少なくとも部分的に基づいて生成される。
図2Aに関連して上記で説明したように、プロセスは、ここまで、前処理ステージ220及びサウンド拡張処理ステージ230における最初の2つのブロックにおよそ一致することに留意されたい。次に、データ処理システム100は、クロストークキャンセルされた左サイド成分及びクロストークキャンセルされた右サイド成分を取得するために、左サイド成分及び右サイド成分にクロストークキャンセルをそれぞれ実行する(287)。幾つかの実施形態において、クロストークキャンセルは、左サイド成分におけるクロストークノイズをキャンセルするために右サイド成分を用い、且つ右サイド成分におけるクロストークノイズをキャンセルするために左サイド成分を用いる再帰的なプロセスである。クロストークキャンセル後、データ処理システム100は、クロストークキャンセルされた左サイド成分及びクロストークキャンセルされた右サイド成分を含むデジタルオーディオ出力信号を生成する(289)。例えば、データ処理システム100は、そのスピーカ116を用いてデジタルオーディオ出力信号を聴取者に再生し得る。
【0036】
図2Bに関連して上記で説明したプロセスは、本出願で開示される方法を用いて、ステレオオーディオ信号にサウンドステージ拡張を実行する一般的なワークフローを示す。より詳細な説明は、没入型サウンド効果を生成するために
図2Bに示されている幾つかのステップについて以下で提供される。
【0037】
特に、
図3Aは、実例的な実施形態による、ステレオオーディオ入力信号から没入型サウンド効果を生成する前処理ステップのフローチャートである。これらの前処理ステップは、主として
図2Bのステップ283及び285に対応する。デジタルステレオオーディオ信号を受信すると、データ処理システム100は、デジタルステレオオーディオ信号から中央成分、最初の左サイド成分、及び最初の右サイド成分を抽出する(301)。上記のように、
図2Aに関連して、このステップは、M/Sミキサ221によって実行され、M/Sミキサ221は、2つの入力信号L及びRを3つの成分に分割する。次に、データ処理システム100は、中間左サイド成分及び中間右サイド成分を取得するために、位置特定キューに従って、最初の左サイド成分及び最初の右サイド成分に中央成分をそれぞれパンする(303)。このステップは、
図2Aに示されているパニングツール223に対応する。最後に、データ処理システム100は、中央成分の2つのコピーを生成し、且つ左サイド成分及び右サイド成分を取得するために、中央成分の第1のコピーを中間左サイド成分とアップミックスし、中央成分の第2のコピーを中間右サイド成分とアップミックスする(305)。このステップは、アップミキサ227及び前処理ステージ220の最後における組み合わせ動作に対応する。幾つかの実施形態において、組み合わせ前の成分がステレオ入力信号のオリジナルの位置キューを保持することを保証するために、増幅器を用いる利得動作が中間サイド成分及びアップミックスされた中間成分に別々に適用される。幾つかの実施形態において、組み合わせの前に中央成分の第1及び第2のコピー間に所定の時間遅延が存在する。時間遅延は、ステレオオーディオ信号において先行音効果を達成するように選択される。
【0038】
図3Bは、実例的な実施形態による、ステレオオーディオ入力信号から没入型サウンド効果を生成する前処理ステップのブロック図である。図に示されているように、M/Sミキサ221は、3つの成分、即ち最初の左サイド成分S
L311、中央成分M313、及び最初の右サイド成分S
R315を生成する。次に、中央成分M313は、最初の中央左成分M
L321及び最初の中央右成分M
R323に分割される。最初の左サイド成分S
L311及び最初の中央左成分M
L321は、結合器325により、中間左サイド成分S
L331に組み合わされ、最初の右サイド成分S
L315及び最初の中央右成分M
R323は、結合器327により、中間右サイド成分S
R335に組み合わされる。その後、
図3Bにおけるブロック図がアップミックス動作及び組み合わせ動作を含まないことに留意されたい。
【0039】
上記のように、M/Sミキサ221は、オーディオ信号を複数の成分に変換する役割を果たす。
図4Aは、実例的な実施形態による、左信号及び右信号を含むステレオオーディオ信号を3つの成分に変換するフローチャートである。データ処理システム100は、以下のように、例えば短時間離散フーリエ変換を用いて、左信号及び右信号を時間領域から周波数領域に第1に変換する(401)。
【数1】
ここで、|X(e
jw)|は、各周波数の振幅ωを意味し、∠X(e
jw)は、位相を意味する。
【0040】
次に、データ処理システム100は、周波数領域における特定の周波数のために、より小さい振幅を有する左信号及び右信号の1つとして、周波数領域において中央成分を定義する(403)。重なり長さが短時間フーリエ変換の窓長さの半分に等しいと仮定すると、中央成分のスペクトログラムは、次の式を用いて定義される。
【数2】
【0041】
周波数領域における中央成分を決定した後、データ処理システム100は、短時間離散逆フーリエ変換を用いて、以下のように周波数領域から逆に時間領域に中央成分を変形する(405)。
【数3】
【0042】
最後に、データ処理システムは、左信号及び右信号から中央成分を引くことにより、最初の左サイド成分及び最初の右サイド成分を次のようにそれぞれ生成する(407)。
サイドL[n]=左[n]−中央[n]
サイドR[n]=右[n]−中央[n]
【0043】
図4Bは、実例的な実施形態による、オーディオ信号の左信号及び右信号のブロック図である。この例において、曲線411は、左信号を表し、曲線413は、右信号に対応する。
図4Cは、実例的な実施形態による、
図4Bに示されているオーディオ信号から生成された3つの成分のブロック図である。特に、
図4Cに示されている曲線421は、中央成分を表し、曲線423及び425は、オーディオ信号の左及び右成分をそれぞれ表す。
【0044】
M/Sミキシングは、音響技師により、録音、ミキシング、及びマスタリングにおいて広く用いられる。しかし、従来のミキシングプロセスと異なり、M/Sミキサ221は、1つのステレオオーディオ信号から3つの成分(サイド
L、サイド
R及び中央)を生成する。サイド
L成分は、左チャネルにのみ現れる音源を表すのに対して、サイド
R成分は、右チャネルにのみ現れる音声に対応する。中央成分は、サウンドステージのファントムセンタにのみ現れる音源、例えば主な音楽的要素及びダイアログである。そうすることにより、このプロセスは、後続のサウンドステージ拡張に有用な情報を分離し、且つ音質(例えば、音色)における不必要な歪みを最小化する。更に、このステップはまた、左及び右成分間の相関を低下させるのを支援する。
【0045】
図5Aは、実例的な実施形態による、オーディオ信号の中央成分を2つのサイド成分にパンするフローチャートである。データ処理システム100は、最初の中央左成分及び最初の中央右成分を取得するために、以下のように、左振幅パニングパラメータ及び右振幅パニングパラメータを中央成分にそれぞれ第1に適用する(501)。
左’[n]=G
L(φ)*左[n]
右’[n]=G
R(φ)*右[n]
ここで、G
L及びG
Rは、それぞれ左及び右成分の利得であり、それらは、φの関数であり、φは、音源の角度を表す。ステレオスピーカセッティングにおけるモノラル信号のパニングが、モノラル入力信号として左信号及び右信号を置くことによって表現され得ることに留意されたい。幾つかの実施形態において、G
L及びG
Rは、以下のように定義される。
G
L(φ)=max(1+φ,1)
G
R(φ)=max(1−φ,1)
ここで、−1≦φ≦1は、パニング値である。
【0046】
多くの場合、左及び右信号間の振幅差が、聴覚空間処理によって要求されるような有用な両耳間位置特定キューになるのに十分でないことに留意されたい。追加の両耳間差が聴覚系によって拾い上げられるために、振幅パニングに導入される。例えば、データ処理システム100は、左信号及び右信号間の両耳間時間差及び両耳間強度差(IID)を決定する(503)。これらの両耳間差は、人間の聴覚系が空間の複雑な音事象を解読するための一次情報である。より具体的には、ITDは、2つの耳への音声の到達時間における差を表す。他方では、IIDは、2つの耳に達する音声間のレベル差に対応し、それは、ヘッドシャドーイング効果及び伝搬における減衰によって引き起こされる。ITD及びIIDのような空間キューは、音声環境における音源及び対象の相対的な数及び位置に関する情報を提供する。
【0047】
次に、データ処理システム100は、中間中央左成分及び中間中央右成分を取得するために、最初の中央左成分及び最初の中央右成分の少なくとも1つにITD及びIIDを適用する(505)。かかる両耳間差は、チャネル間時間差及び強度差として2つの成分に戻される。最後に、データ処理システム100は、(
図3Bにおける中間左サイド成分S
L331に対応する)中間左サイド成分及び(
図3Bにおける中間右サイド成分S
R335に対応する)中間右サイド成分を取得するために、最初の左サイド成分を中間中央左成分と、且つ最初の右サイド成分を中間中央右成分とそれぞれ組み合わせる(507)。
【0048】
図5Bは、実例的な実施形態による、音源の空間キューを決定し、且つオーディオ信号の中央左及び中央右成分の1つに空間キューを適用するフローチャートである。データ処理システム100は、聴取者の現在位置に対して、デジタルオーディオ入力信号に関連する音源の角度を決定する(511)。
【0049】
図5Cは、実例的な実施形態による、音源の角度を示すブロック図である。rの頭の半径を備え、y軸の方向に面する原点Oに置かれた人頭を検討する。左耳は、E
Lにあり、右耳半E
Rにある。音源Sがy軸に対してθの角度で原点から比較的離れて位置すること、及び音波が、頭に到達する間に並行に移動する平面波であることを仮定すると、E
Lに到達する音声はS
Lから到来し、E
Rに到達する音声はS
Rから到来する。S
LとE
Lとの間の距離は、S
RとE
Rとの間の距離よりα+βだけ長い。ここで、
α=rsinθ、及び
β=rθ
である。
【0050】
2つのサイド間の距離差は、次のとおりである。
α+β=rsinθ+rθ=r(sinθ+θ)
【0051】
データ処理システム100は、音源の角度に従ってITD及びIIDを計算する(513)。例えば、ITDは、以下のように、音速cによって割られる距離差として定義することができる。
【数4】
【0052】
換言すれば、頭の左(即ち遠い)側に小さい時間遅延がある。
図5Dは、上記の式によって定義されるような両耳間時間差(ITD)と音源角度との間の関係を示すブロック図である。
【0053】
音声SIの強度が、以下のように、聴取者と音源との間の距離dの平方に反比例することが知られている。
【数5】
【0054】
次に、両耳間強度差は、音源から各耳まで移動する距離間の強度比として定義することができる。
【数6】
【0055】
SRとERとの間の距離が1メートルに等しいと仮定すると、
【数7】
である。
【0056】
幾つかの実施形態において、頭が音波をブロックしていることを考慮して、次のようにヘッドシャドー定数mが導入される。
IID=m20log
10(1+r(θ+sinθ))
【0057】
図5Eは、上記の式によって定義されるように、実例的な実施形態に従って両耳間強度差(IID)と音源角度との間の関係を示すブロック図である。
【0058】
図5D及び5Eに示されているITD及びIID曲線を用いて、データ処理システム100は、ITDよって定義された時間シフト及びIIDによって定義されたと振幅乗算を最初の中央右成分に適用することにより、例えば最初の中央右成分を次のように更新する(515)。
右’’[n]=A
IID右’[n−t
ITD]
【0059】
次に、データ処理システム100は、以下のように、中間中央左成分になるように、更新された最初の中央右成分を最初の中央左成分と組み合わせる(517)。
左’’[n]=左’[n]+右’’[n]
【0060】
図2Aに関連して上記で説明したように、クロストークキャンセルブロック235の前に、複数の処理ブロックがサウンド拡張処理ステージ230に存在する。同様に、クロストークキャンセルブロック235後、少なくとも1つの処理ブロックが後処理ステージ240に存在する。
図6は、実例的な実施形態による、オーディオ信号の左サイド及び右サイド成分にクロストークキャンセルを実行する前及び後の処理ステップのフローチャートである。
【0061】
左サイド成分及び右サイド成分にクロストークキャンセルを実行する(601)前に、データ処理システム100は、帯域通過フィルタリングされた左サイド成分及び帯域通過フィルタリングされた右サイド成分を取得するために、第1の帯域通過フィルタを用いて左サイド成分及び右サイド成分に等化を実行する(603)。幾つかの実施形態において、第1の帯域通過フィルタは、クロストークキャンセルブロック235により引き起こされるコムフィルタリングによりもたらされる望ましくない音色を最小化するために、且つサウンドステージ幅を収縮から防ぐためにある。クロストークキャンセルは、コムフィルタリングの副作用を有する。コムフィルタは、音声信号の2つ以上のコピーが同一であるが、しかし位相差を有する場合に出現する。それは、フィルタの周波数応答の形状によって名前を付けられ、それは、一連の規則的に離間されたスパイクからなる。コムフィルタリング効果を低減するために、第1の帯域通過フィルタは、左及び右信号がクロストークキャンセルブロック235に入る前にEQブロック231に導入される。所定の周波数範囲外のオーディオ信号を抑制することにより、コムフィルタリング効果の量は一層よく制御され、従って出力信号の音色を低減することができる。クロストークキャンセル前にオーディオ信号を帯域通過フィルタリングすることにより、聴覚系は、曖昧な情報を無視することができるが、聴覚系は、頭部動作を通じてそれを解決することができない。
【0062】
本出願において開示される本発明を用いて最良の応答を生成する所定の周波数範囲があることが分かった。人間の聴覚系は、2つの鼓膜の動作における差を検出し比較する。各ニューロンは、それが最も敏感な特定の周波数範囲を有する。更に、人間の聴覚系の性能に影響する他の幾つかの物理的及び生理的な制約が存在する。例えば、聴覚ニューロンは、インパルスを放つために達するべき知覚閾値を有し、それは、次の放出までクールダウンする幾らかの時間を必要とする。プロセスをより効率的でより効果的にするために、本明細書で開示される本発明のための応答の最適な周波数が、約150〜6000Hz、好ましくは150〜2300Hzであることが分かる。
【0063】
図2Aに示されているように、第1の帯域通過フィルタからの残差は、クロストークキャンセルステップ後に逆に結果信号に追加される。そうするために、データ処理システム100は、帯域通過フィルタリングされた左サイド成分及び帯域通過フィルタリングされた右サイド成分から左サイド成分及び右サイド成分を引くことにより、左サイド残差成分及び右サイド残差成分をそれぞれ生成する(605)。幾つかの実施形態において、2つの信号が一緒に組み合わされる前に、2つの信号の利得を調整するために、増幅器がクロストークキャンセルステップからの残差信号及び結果信号に適用される。
【0064】
図7A〜7Cは、実例的な実施形態による、オーディオ信号のダイナミックレンジ圧縮のフローチャートである。幾つかの実施形態において、第2の帯域通過フィルタがDRCブロック233に含まれる。ユーザ(例えば、音響技師)は、クロストークキャンセルを適用する前に、特定の周波数帯域をウィンドウアウトするように第2の帯域通過フィルタを調整することができる。そうすることにより、ユーザは、自分の選択の特定の音事象を強調することができる。例えば、第1の帯域通過フィルタを用いて左サイド成分及び右サイド成分に等化を実行した後(701)、データ処理システム100は、第2の帯域通過フィルタを用いて、左サイド成分及び右サイド成分から所定の周波数帯域を取り除く(703)。EQブロック231及びDRCブロック233において用いられる代表的な帯域通過フィルタは、4次フィルタ又はバターワースフィルタを含む。
【0065】
幾つかの実施形態において、第1の帯域通過フィルタを用いて左サイド成分及び右サイド成分に等化を実行した後(711)、データ処理システム100は、所定の周波数帯域を他の周波数に対して強調するために、左サイド成分及び右サイド成分に第1のダイナミックレンジ圧縮を実行する(713)。
【0066】
幾つかの実施形態において、左サイド成分及び右サイド成分に左サイド残差成分及び右サイド残差成分をそれぞれ組み合わせた後、データ処理システム100は、デジタルオーディオ出力信号に位置特定キューを保持するために、左サイド成分及び右サイド成分に第2のダイナミックレンジ圧縮を実行する(723)。
【0067】
幾つかの実施形態において、2つのチャネル(左及び右)間の相互相関は、位置特定情報を音声信号に戻す場合に最大限にされる。その結果、結果としてのサウンドステージ幅は、クラシック音楽又は映画のための背景音楽などのあるタイプの音には広すぎる可能性がある。この問題は、以下の式を用いてサウンドステージの幅を調整することによって取り組むことができる。
【数8】
ここで、−5≦β≦0は、ステージ幅パラメータである。結果としての信号は、β=0の場合に最大サウンドステージ幅を有し、β=−5の場合にはモノラル信号に近い。
【0068】
上記の例は、入力信号がステレオオーディオ信号(2チャネル)又はモノラルオーディオ信号(1チャネル)であると仮定する。しかし、同じプロセスパイプラインは、(3つ以上のチャネルを含む)マルチチャネルオーディオ入力信号を処理するように、又はマルチチャネルオーディオ出力信号を生成するように容易に適合され得る。
【0069】
図8A〜8Cは、実例的な実施形態による、ステレオ/マルチチャネル音声信号をマルチチャネル/ステレオ音声信号に変換する異なる音声処理ステージを示すブロック図である。
【0070】
図8Aに示されているように、パイプラインは、
図2Aに示されているパイプラインに類似している。パイプラインへの入力は、左チャネル及び右チャネルを有するステレオオーディオ信号である。パイプラインの出力は、5つのチャネル、即ち左サラウンドチャネル(L
S)801、右サラウンドチャネル(R
S)803、左チャネル(L)805、右チャネル(R)807、及びセンターチャネル(C)809を有するマルチチャネルオーディオ信号である。この例において、左サラウンドチャネル(L
S)801及び右サラウンドチャネル(R
S)803は、パニングステップ後の左サイド成分及び右サイド成分である。センターチャネル(C)809は、M/Sミキサによって生成された中央成分である。左サラウンドチャネル(L
S)801及び右サラウンドチャネル(R
S)803が、
図3Aに関連して上記で説明したような中間左サイド成分及び中間右サイド成分に対応することに留意されたい。幾つかの実施形態(
図8Aには示されていない)において、左サラウンドチャネル(L
S)801及び右サラウンドチャネル(R
S)803は、マルチチャネルオーディオシステムの対応するスピーカに供給される前に更に増幅される。他の幾つかの実施形態において、左サラウンドチャネル(L
S)801及び右サラウンドチャネル(R
S)803は、
図8Aに示されている増幅器A1の出力信号である。
【0071】
図8Bに示されているように、パイプラインは、パイプラインへの入力が、5つのチャネル、即ち左サラウンドチャネル(L
S)811、右サラウンドチャネル(R
S)813、左チャネル(L)815、右チャネル(R)817、及びセンターチャネル(C)819)を有するマルチチャネルオーディオ信号であるという点を除いて、
図2Aに示されているパイプラインに類似している。この例において、左サラウンドチャネル(L
S)811及び右サラウンドチャネル(R
S)813は、パニングステップ後に左サイド成分及び右サイド成分に組み合わされる。センターチャネル(C)819も、M/Sミキサによって生成された中央成分に組み合わされる。5つのチャネルを2つのチャネルに組み合わせる前処理ステージ後、残りの動作は、
図2Aに示されている動作と同じである。
【0072】
最後に、
図8Cは、入力/出力が、両方とも5つのチャネルを有するマルチチャネルオーディオ信号であるパイプラインを示す。入力マルチチャネルオーディオ信号は、左サラウンドチャネル(L
S)821、右サラウンドチャネル(R
S)823、左チャネル(L)825、右チャネル(R)827、及びセンターチャネル(C)829を有する。出力マルチチャネルオーディオ信号は、左サラウンドチャネル(L’
S)831、右サラウンドチャネル(R’
S)833、左チャネル(L’)835、右チャネル(R’)837、及びセンターチャネル(C’)839を有する。この例において、左サラウンドチャネル(L
S)821及び右サラウンドチャネル(R
S)823は、パニングステップ後に左サイド成分及び右サイド成分に組み合わされ、次に左サラウンドチャネル(L’
S)831及び右サラウンドチャネル(R’
S)833として出力される。センターチャネル(C)819も、M/Sミキサによって生成された中央成分に組み合わされ、次にセンターチャネル(C’)839として出力される。左チャネル(L’)835及び右チャネル(R’)837を生成する処理ステップは、
図2Aに示されている処理ステップと同じままである。
【0073】
最後に、本発明は、完全なハードウェア実施形態、完全なソフトウェア実施形態、又はハードウェア及びソフトウェア要素の両方を含む実施形態の形態を取り得ることに留意されたい。好ましい実施形態において、本発明は、ソフトウェアにおいて実施され、ソフトウェアは、限定するわけではないが、ファームウェア、常駐ソフトウェア、マイクロコード等を含む。
【0074】
更に、本発明は、コンピュータ又は任意の命令実行システムによる又はそれらに関連する使用のためのプログラムコードを提供するコンピュータ使用可能又はコンピュータ可読媒体からアクセス可能なコンピュータプログラム製品の形態を取り得る。この記載のために、コンピュータ使用可能又はコンピュータ可読媒体は、命令実行システム、機器、又は装置による又はそれらに関連する使用のためのプログラムを含むか、格納するか、通信するか、伝搬するか、搬送することができる任意の実体的な機器とすることができる。
【0075】
媒体は、電子、磁気、光、電磁気、赤外線、半導体システム(又は機器若しくは装置)、又は伝搬媒体とすることができる。コンピュータ可読媒体の例は、半導体若しくは固体メモリ、磁気テープ、着脱可能なコンピュータディスケット、ランダムアクセスメモリ(RAM)、読み出し専用メモリ(ROM)、剛性磁気ディスク、及び光ディスクを含む。光ディスクの現在の例は、コンパクトディスク−読み出し専用メモリ(CD−ROM)、コンパクトディスク−読み出し/書き込み(CD−R/W)、及びDVDを含む。
【0076】
プログラムコードを格納及び/又は実行するのに適したデータ処理システムは、システムバスを通してメモリ素子に直接又は間接的に結合される少なくとも1つのプロセッサを含む。メモリ素子は、プログラムコードの実際の実行中に用いられるローカルメモリと、バルク記憶装置と、実行中にコードがバルク記憶装置から検索されなければならない回数を低減するために少なくとも幾らかのプログラムコードの一時的記憶を提供するキャッシュメモリとを含むことができる。幾つかの実施形態において、データ処理システムは、コンピュータ又は他の電子システムの全てのコンポーネントを単一チップ基板に集積する半導体チップ(例えば、システムオンチップ)の形態で実現される。
【0077】
入力/出力又はI/O装置(限定するわけではないが、キーボード、ディスプレイ、ポインティング装置等を含む)は、システムに直接又は介在するI/Oコントローラを通して結合することができる。
【0078】
ネットワークアダプタもシステムに結合され、データ処理システムが、介在するプライベート又はパブリックネットワークを通して他のデータ処理システム、リモートプリンタ、又は記憶装置に結合され得るようにし得る。モデム、ケーブルモデム、及びイーサネットカードは、単に少数の現在利用可能なタイプのネットワークアダプタである。
【0079】
本出願の記載は、実例及び説明のために提示され、包括的であるようにも、開示されている形態の本発明に限定されるようにも意図されていない。多くの修正形態及び変形形態が当業者に明らかになるであろう。実施形態は、本発明の原理及び実際的な用途を最もよく説明するために、且つ当業者が、考えられる特定の使用に適するような様々な修正を備えた様々な実施形態のために本発明を理解できるようにするために選択及び説明された。
【0080】
本明細書において実施形態の説明で用いられる専門用語は、特定の実施形態を説明する目的のためにのみあり、請求項の範囲を限定するように意図されていない。実施形態及び添付の請求項の説明において用いられる場合、単数形「1つの(a)」、「1つの(an)」及び「その(the)」は、文脈が明白に別段のことを示していない限り、同様に複数形を含むように意図される。本明細書で用いられるとき、「及び/又は」という用語は、関連する列挙された用語の1つ又は複数におけるあらゆる全ての組み合わせを指して含むことも理解されるであろう。「含む」及び/又は「含んでいる」という用語は、本明細書で用いられる場合、述べられた特徴、整数、ステップ、動作、要素、及び/又はコンポーネントの存在を明示するが、しかし、1つ又は複数の他の特徴、整数、ステップ、動作、要素、コンポーネント、及び/又はそれらのグループの存在又は追加を排除しないことが更に理解されるであろう。
【0081】
第1の、第2の等の用語が様々な要素を説明するために本明細書で用いられ得るが、これらの要素は、これらの用語によって限定されるべきでないことも理解されるであろう。これらの用語は、1つの要素を別の要素から区別するためにのみ用いられる。例えば、実施形態の範囲から逸脱せずに、第1のポートは、第2のポートと名付けることが可能であり、同様に第2のポートは、第1のポートと名付けることが可能である。第1のポート及び第2のポートは、両方ともポートであるが、しかし、それらは同じポートではない。
【0082】
本明細書で説明される実施形態の多くの修正形態及び代替実施形態が、前述の説明及び関連する図面で提示される教示の利益を有する当業者に想到されるであろう。従って、特許請求の範囲は、開示される実施形態の具体例に限定されるべきではないこと、並びに修正形態及び他の実施形態が添付の特許請求の範囲内に含まれるように意図されることを理解されたい。特定の用語が本明細書で用いられるが、それらは、限定の目的ではなく、一般的及び説明的な意味でのみ用いられている。
【0083】
実施形態は、根本原理及びそれらの実際的な用途を説明し、それにより、当業者が、根本原理及び考えられる特定の使用に適するような様々な修正を備えた様々な実施形態を最もよく利用できるようにするために選択及び説明された。
以下に削除された出願当初の請求項84ないし98を付記する。
[条項84]
オーディオ信号を処理するための方法であって、
1つ又は複数のプロセッサと、メモリと、前記メモリに格納され、前記1つ又は複数のプロセッサによって実行される複数のプログラムモジュールとを有するコンピューティング装置によって、
デジタルオーディオ入力信号を受信することと、
所定の周波数範囲内の前記デジタルオーディオ入力信号を拡張することにより、前記デジタルオーディオ入力信号に等化を実行し、前記等化されたオーディオ信号から残差オーディオ信号を生成することと、
前記等化されたオーディオ信号にダイナミックレンジ圧縮を実行することと、
クロストークキャンセルされたオーディオ信号を取得するために、前記等化されたオーディオ信号にクロストークキャンセルを実行することと、
前記クロストークキャンセルされたオーディオ信号及び前記残差オーディオ信号をデジタルオーディオ出力信号に組み合わせることと
を含む方法。
[条項85]
所定の周波数範囲内の前記デジタルオーディオ入力信号を拡張することにより、前記デジタルオーディオ入力信号に等化を実行し、前記等化されたオーディオ信号から残差オーディオ信号を生成する前記ステップが、
帯域通過フィルタリングされたオーディオ信号を取得するために、前記デジタルオーディオ入力信号に第1の帯域通過フィルタを適用することと、
前記デジタルオーディオ入力信号から前記帯域通過フィルタリングされたオーディオ信号を引くことにより、前記残差オーディオ信号を生成することと
を更に含む、条項84に記載の方法。
[条項86]
前記第1の帯域通過フィルタを用いて、前記デジタルオーディオ入力信号に前記等化への等化を実行した後、第2の帯域通過フィルタを用いて、前記帯域通過フィルタリングされたオーディオ信号から所定の周波数帯域を取り除くことを更に含む、条項85に記載の方法。
[条項87]
前記第1の帯域通過フィルタを用いて、前記デジタルオーディオ入力信号に前記等化への等化を実行した後、所定の周波数帯域を他の周波数に対して強調するために、前記帯域通過フィルタリングされたオーディオ信号に第1のダイナミックレンジ圧縮を実行することを更に含む、条項84に記載の方法。
[条項88]
前記デジタルオーディオ入力信号が、右チャネルも含むステレオオーディオ入力信号の左チャネルであり、及びクロストークキャンセルされたオーディオ信号を取得するために、前記等化されたオーディオ信号にクロストークキャンセルを実行する前記ステップが、
クロストークキャンセルされた左チャネルオーディオ信号を取得するために、同様に処理された右チャネルを用いて、前記左チャネルにクロストークキャンセルを実行することと、
クロストークキャンセルされた右チャネルオーディオ信号を取得するために、前記等化されたオーディオ信号を用いて、前記右チャネルにクロストークキャンセルを実行することと
を更に含む、条項84に記載の方法。
[条項89]
オーディオ信号を処理するためのコンピューティング装置であって、
1つ又は複数のプロセッサと、
メモリと、
前記メモリに格納され、前記1つ又は複数のプロセッサによって実行される複数のプログラムモジュールであって、前記1つ又は複数のプロセッサによって実行されると、複数のステップを前記コンピューティング装置に実行させる複数のプログラムモジュールと
を含み、前記複数のステップは、
デジタルオーディオ入力信号を受信することと、
所定の周波数範囲内の前記デジタルオーディオ入力信号を拡張することにより、前記デジタルオーディオ入力信号に等化を実行し、前記等化されたオーディオ信号から残差オーディオ信号を生成することと、
前記等化されたオーディオ信号にダイナミックレンジ圧縮を実行することと、
クロストークキャンセルされたオーディオ信号を取得するために、前記等化されたオーディオ信号にクロストークキャンセルを実行することと、
前記クロストークキャンセルされたオーディオ信号及び前記残差オーディオ信号をデジタルオーディオ出力信号に組み合わせることと
を含む、コンピューティング装置。
[条項90]
所定の周波数範囲内の前記デジタルオーディオ入力信号を拡張することにより、前記デジタルオーディオ入力信号に等化を実行し、前記等化されたオーディオ信号から残差オーディオ信号を生成する前記ステップが、
帯域通過フィルタリングされたオーディオ信号を取得するために、前記デジタルオーディオ入力信号に第1の帯域通過フィルタを適用することと、
前記デジタルオーディオ入力信号から前記帯域通過フィルタリングされたオーディオ信号を引くことにより、前記残差オーディオ信号を生成することと
を更に含む、条項89に記載のコンピューティング装置。
[条項91]
前記複数のステップが、前記第1の帯域通過フィルタを用いて、前記デジタルオーディオ入力信号に前記等化への等化を実行した後、第2の帯域通過フィルタを用いて、前記帯域通過フィルタリングされたオーディオ信号から所定の周波数帯域を取り除くことを更に含む、条項90に記載のコンピューティング装置。
[条項92]
前記複数のステップが、前記第1の帯域通過フィルタを用いて、前記デジタルオーディオ入力信号に前記等化への等化を実行した後、所定の周波数帯域を他の周波数に対して強調するために、前記帯域通過フィルタリングされたオーディオ信号に第1のダイナミックレンジ圧縮を実行することを更に含む、条項90に記載のコンピューティング装置。
[条項93]
前記デジタルオーディオ入力信号が、右チャネルも含むステレオオーディオ入力信号の左チャネルであり、及びクロストークキャンセルされたオーディオ信号を取得するために、前記等化されたオーディオ信号にクロストークキャンセルを実行する前記ステップが、
クロストークキャンセルされた左チャネルオーディオ信号を取得するために、同様に処理された右チャネルを用いて、前記左チャネルにクロストークキャンセルを実行することと、
クロストークキャンセルされた右チャネルオーディオ信号を取得するために、前記等化されたオーディオ信号を用いて、前記右チャネルにクロストークキャンセルを実行することと
を更に含む、条項92に記載のコンピューティング装置。
[条項94]
オーディオ信号を処理するために1つ又は複数のプロセッサを有するコンピューティング装置に関連する非一時的なコンピュータ可読記憶媒体に格納されたコンピュータプログラム製品であって、複数のプログラムモジュールであって、前記1つ又は複数のプロセッサによって実行されると、複数のステップを前記コンピューティング装置に実行させる複数のプログラムモジュールを含み、前記複数のステップは、
デジタルオーディオ入力信号を受信することと、
所定の周波数範囲内の前記デジタルオーディオ入力信号を拡張することにより、前記デジタルオーディオ入力信号に等化を実行し、前記等化されたオーディオ信号から残差オーディオ信号を生成することと、
前記等化されたオーディオ信号にダイナミックレンジ圧縮を実行することと、
クロストークキャンセルされたオーディオ信号を取得するために、前記等化されたオーディオ信号にクロストークキャンセルを実行することと、
前記クロストークキャンセルされたオーディオ信号及び前記残差オーディオ信号をデジタルオーディオ出力信号に組み合わせることと
を含む、コンピュータプログラム製品。
[条項95]
所定の周波数範囲内の前記デジタルオーディオ入力信号を拡張することにより、前記デジタルオーディオ入力信号に等化を実行し、前記等化されたオーディオ信号から残差オーディオ信号を生成する前記ステップが、
帯域通過フィルタリングされたオーディオ信号を取得するために、前記デジタルオーディオ入力信号に第1の帯域通過フィルタを適用することと、
前記デジタルオーディオ入力信号から前記帯域通過フィルタリングされたオーディオ信号を引くことにより、前記残差オーディオ信号を生成することと
を更に含む、条項94に記載のコンピュータプログラム製品。
[条項96]
前記複数のステップが、前記第1の帯域通過フィルタを用いて、前記デジタルオーディオ入力信号に前記等化への等化を実行した後、第2の帯域通過フィルタを用いて、前記帯域通過フィルタリングされたオーディオ信号から所定の周波数帯域を取り除くことを更に含む、条項95に記載のコンピュータプログラム製品。
[条項97]
前記複数のステップが、前記第1の帯域通過フィルタを用いて、前記デジタルオーディオ入力信号に前記等化への等化を実行した後、所定の周波数帯域を他の周波数に対して強調するために、前記帯域通過フィルタリングされたオーディオ信号に第1のダイナミックレンジ圧縮を実行することを更に含む、条項95に記載のコンピュータプログラム製品。
[条項98]
前記デジタルオーディオ入力信号が、右チャネルも含むステレオオーディオ入力信号の左チャネルであり、及びクロストークキャンセルされたオーディオ信号を取得するために、前記等化されたオーディオ信号にクロストークキャンセルを実行する前記ステップが、
クロストークキャンセルされた左チャネルオーディオ信号を取得するために、同様に処理された右チャネルを用いて、前記左チャネルにクロストークキャンセルを実行することと、
クロストークキャンセルされた右チャネルオーディオ信号を取得するために、前記等化されたオーディオ信号を用いて、前記右チャネルにクロストークキャンセルを実行することと
を更に含む、条項97に記載のコンピュータプログラム製品。