(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-11-17
(54)【発明の名称】オーディオシステムの高さチャネルアップミキシング
(51)【国際特許分類】
H04S 7/00 20060101AFI20231110BHJP
H04S 5/02 20060101ALI20231110BHJP
【ＦＩ】
H04S7/00 300
H04S5/02
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2023527086
(86)(22)【出願日】2021-11-02
(85)【翻訳文提出日】2023-06-08
(86)【国際出願番号】 US2021057778
(87)【国際公開番号】W WO2022098675
(87)【国際公開日】2022-05-12
(31)【優先権主張番号】17/088,062
(32)【優先日】2020-11-03
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＨＤＭＩ
(71)【出願人】
【識別番号】591009509
【氏名又は名称】ボーズ・コーポレーション
【氏名又は名称原語表記】ＢＯＳＥ ＣＯＲＰＯＲＡＴＩＯＮ
(74)【代理人】
【識別番号】100108453
【弁理士】
【氏名又は名称】村山 靖彦
(74)【代理人】
【識別番号】100110364
【弁理士】
【氏名又は名称】実広 信哉
(74)【代理人】
【識別番号】100133400
【弁理士】
【氏名又は名称】阿部 達彦
(72)【発明者】
【氏名】ジェームズ・トレイシー
【テーマコード（参考）】
5D162
【Ｆターム（参考）】
5D162BA07
5D162CB12
5D162CD03
5D162CD13
5D162DA27
5D162EG02
(57)【要約】
高さ関連符号化を含まないオーディオソースから２つ以上の高さチャネルを発生するように構成されている、オーディオシステムの高さチャネルアップミキシング。アップミキシングは、入力オーディオ信号間の相関及び正規化チャネルエネルギーを判定することを含む。少なくとも２つの高さチャネル（例えば、左及び右高さオーディオ信号）が、相関及び正規化エネルギーから発生する。
【特許請求の範囲】
【請求項1】
符号化されたコンピュータプログラム論理を含む非一時的コンピュータ可読媒体を有するコンピュータプログラム製品であって、前記コンピュータプログラム論理が、少なくとも２つのオーディオドライバを有するオーディオシステム上で実施されたときに、少なくとも左及び右入力オーディオ信号を含むオーディオ信号を入力することと、前記ドライバに提供される少なくとも左及び右高さオーディオ信号をレンダリングすることと、を行うように構成されており、前記オーディオシステムに、入力オーディオ信号間の相関を判定することと、
入力オーディオ信号の正規化チャネルエネルギーを判定することと、
前記判定された相関及び正規化チャネルエネルギーから少なくとも左及び右高さオーディオ信号を発生することと、を行わせる、コンピュータプログラム製品。
【請求項2】
前記コンピュータプログラム論理が、更に、前記オーディオシステムに、入力オーディオ信号に対してフーリエ変換を実施させる、請求項１に記載のコンピュータプログラム製品。
【請求項3】
前記相関が、前記フーリエ変換に基づく、請求項２に記載のコンピュータプログラム製品。
【請求項4】
前記フーリエ変換が、一連のビンをもたらし、前記相関が、前記ビンに基づく、請求項３に記載のコンピュータプログラム製品。
【請求項5】
前記正規化チャネルエネルギーが、前記フーリエ変換に基づく、請求項２に記載のコンピュータプログラム製品。
【請求項6】
前記フーリエ変換が、一連のビンをもたらし、前記正規化チャネルエネルギーが、前記ビンに基づく、請求項５に記載のコンピュータプログラム製品。
【請求項7】
前記フーリエ変換が、一連のビンをもたらす、請求項２に記載のコンピュータプログラム製品。
【請求項8】
前記コンピュータプログラム論理が、更に、前記オーディオシステムに、サブオクターブ間隔を使用して前記ビンをパーティションに分割させる、請求項７に記載のコンピュータプログラム製品。
【請求項9】
前記相関及び正規化チャネルエネルギーが、前記ビンについて別個に判定される、請求項８に記載のコンピュータプログラム製品。
【請求項10】
前記コンピュータプログラム論理が、更に、前記オーディオシステムに、前記パーティションを時間平滑化及び周波数平滑化させて、平滑化された相関及び平滑化された正規化チャネルエネルギーを発生させる、請求項９に記載のコンピュータプログラム製品。
【請求項11】
前記高さオーディオ信号が、前記平滑化された相関及び前記平滑化された正規化チャネルエネルギーの両方の関数として、前記パーティションについて抽出される、請求項１０に記載のコンピュータプログラム製品。
【請求項12】
前記コンピュータプログラム論理が、前記オーディオシステムに、左前高さオーディオチャネル信号、右前高さオーディオチャネル信号、左後高さオーディオチャネル信号、及び右後高さオーディオチャネル信号を発生させる、請求項１に記載のコンピュータプログラム製品。
【請求項13】
前記コンピュータプログラム論理が、更に、前記オーディオシステムに、無相関左及び右チャネルオーディオ信号を発生させる、請求項１に記載のコンピュータプログラム製品。
【請求項14】
前記コンピュータプログラム論理が、更に、前記オーディオシステムに、前記無相関左及び右チャネルオーディオ信号に対してクロストークキャンセルを実施させる、請求項１３に記載のコンピュータプログラム製品。
【請求項15】
前記クロストークキャンセルが、前記無相関左チャネルオーディオ信号の遅延、反転、及びスケーリングされたバージョンを右チャネルオーディオ信号に加算し、前記無相関右チャネルオーディオ信号の遅延、反転、及びスケーリングされたバージョンを左チャネルオーディオ信号に加算する、請求項１４に記載のコンピュータプログラム製品。
【請求項16】
クロストークキャンセルが、左チャネルオーディオ信号を、別個の低帯域左チャネルオーディオ信号及び高帯域左チャネルオーディオ信号と、別個の低帯域右チャネルオーディオ信号及び高帯域右チャネルオーディオ信号と、に分割させ、前記高帯域左及び右チャネルオーディオ信号を、ヘッドシャドウフィルタ、遅延、及び反転スケーラを通じて処理して、フィルタリングされた高帯域左及び右チャネルオーディオ信号を発生させ、前記フィルタリングされた高帯域左及び右チャネルオーディオ信号を前記高帯域左及び右チャネルオーディオ信号と結合させて、第１の結合信号を発生させ、クロストークキャンセル信号を発生させるために、前記第１の結合信号を前記低帯域左及び右オーディオチャネル信号と結合させる、請求項１４に記載のコンピュータプログラム製品。
【請求項17】
ユーザが、前記少なくとも左及び右高さオーディオ信号のレンダリングを有効及び無効化することができる、請求項１に記載のコンピュータプログラム製品。
【請求項18】
ユーザが、前記オーディオシステムのメインボリュームに対する前記少なくとも左及び右高さオーディオ信号のボリュームをカスタマイズすることができる、請求項１に記載のコンピュータプログラム製品。
【請求項19】
オーディオシステムであって、少なくとも左前オーディオ信号、右前オーディオ信号、中央前オーディオ信号、左高さオーディオ信号、及び右高さオーディオ信号を再生するように構成された複数のドライバと、
入力オーディオ信号間の相関を判定することと、入力オーディオ信号の正規化チャネルエネルギーを判定することと、前記判定された相関及び正規化チャネルエネルギーから少なくとも左及び右高さオーディオ信号を発生させることと、前記左及び右高さオーディオ信号を前記ドライバに提供することと、を行うように構成されている、プロセッサと、を備える、オーディオシステム。
【請求項20】
前記プロセッサが、入力オーディオ信号に対してフーリエ変換を実施するように更に構成されており、前記相関及び前記正規化チャネルエネルギーが、前記フーリエ変換に基づく、請求項１９に記載のオーディオシステム。
【請求項21】
前記フーリエ変換が、一連のビンをもたらし、前記プロセッサが、サブオクターブ間隔を使用して前記ビンをパーティショニングすることと、前記ビンに対する前記相関及び正規化チャネルエネルギーを別個に判定することと、を行うように更に構成されている、請求項２０に記載のオーディオシステム。
【請求項22】
前記プロセッサが、前記オーディオシステムに、無相関左及び右チャネルオーディオ信号を発生させることと、前記無相関左及び右チャネルオーディオ信号に対してクロストークキャンセルを実施させることと、を行うように更に構成されている、請求項２１に記載のオーディオシステム。
【発明の詳細な説明】
【技術分野】
【0001】
（関連出願の相互参照）
本出願は、２０２０年１１月３日に出願された出願第１７／０８８，０６２号に対する優先権を主張するものであり、その開示全体は、全ての目的のために参照により本明細書に組み込まれる。
本出願は、２０２０年１１月３日に出願された出願第１７／０８８，０６２号に対する優先権を主張するものであり、その開示全体は、全ての目的のために参照により本明細書に組み込まれる。
【0002】
（発明の分野）
本開示は、サラウンドサウンドオーディオシステムにおいて音を仮想的に定位させることに関する。
本開示は、サラウンドサウンドオーディオシステムにおいて音を仮想的に定位させることに関する。
【背景技術】
【0003】
サラウンドサウンドオーディオシステムは、聴取者の周囲及び上方に位置するオーディオドライバを使用して、サウンドソースを三次元で仮想化することができる。これらのオーディオシステムは、高価であり、聴取領域のためにカスタム設計される必要があり得る。
【発明の概要】
【0004】
下記で言及される全ての実施例及び特徴は、任意の技術的に可能な方式で組み合わせることができる。
【0005】
一態様では、符号化されたコンピュータプログラム論理を含む非一時的コンピュータ可読媒体を有するコンピュータプログラム製品であって、コンピュータプログラム論理が、少なくとも２つのオーディオドライバを有するオーディオシステム上で実施されたときに、少なくとも左及び右入力オーディオ信号を含むオーディオ信号を入力することと、ドライバに提供される少なくとも左及び右高さオーディオ信号をレンダリングすることと、を行うように構成されており、オーディオシステムに、入力オーディオ信号間の相関を判定することと、入力オーディオ信号の正規化チャネルエネルギーを判定することと、判定された相関及び正規化チャネルエネルギーから少なくとも左及び右高さオーディオ信号を発生させることと、を行わせる、コンピュータプログラム製品。
【0006】
いくつかの例は、上記及び／若しくは下記の特徴のうちの１つ、又はそれらの任意の組み合わせを含む。いくつかの例では、コンピュータプログラム論理は、更に、オーディオシステムに、入力オーディオ信号に対してフーリエ変換を実施させる。一例では、相関は、フーリエ変換に基づく。一例では、フーリエ変換は、一連のビンをもたらし、相関は、ビンに基づく。一例では、正規化チャネルエネルギーは、フーリエ変換に基づく。
【0007】
いくつかの例は、上記及び／若しくは下記の特徴のうちの１つ、又はそれらの任意の組み合わせを含む。いくつかの例では、フーリエ変換は、一連のビンをもたらす。一例では、コンピュータプログラム論理は、更に、オーディオシステムに、サブオクターブ間隔を使用してビンをパーティショニングさせる。一例では、相関及び正規化チャネルエネルギーは、ビンについて別個に判定される。一例では、コンピュータプログラム論理は、更に、オーディオシステムに、パーティションを時間平滑化及び周波数平滑化して、平滑化された相関及び平滑化された正規化チャネルエネルギーを発生させる。一例では、高さオーディオ信号は、平滑化された相関及び平滑化された正規化チャネルエネルギーの両方の関数として、パーティションについて抽出される。
【0008】
いくつかの例は、上記及び／若しくは下記の特徴のうちの１つ、又はそれらの任意の組み合わせを含む。いくつかの例では、コンピュータプログラム論理は、オーディオシステムに、左前高さオーディオチャネル信号、右前高さオーディオチャネル信号、左後高さオーディオチャネル信号、及び右後高さオーディオチャネル信号を発生させる。いくつかの例では、コンピュータプログラム論理は、更に、オーディオシステムに、無相関左及び右チャネルオーディオ信号を発生させる。一例では、コンピュータプログラム論理は、更に、オーディオシステムに、無相関左及び右チャネルオーディオ信号に対してクロストークキャンセルを実施させる。一例では、クロストークキャンセルは、無相関左チャネルオーディオ信号の遅延、反転、及びスケーリングされたバージョンを右チャネルオーディオ信号に加算し、無相関右チャネルオーディオ信号の遅延、反転、及びスケーリングされたバージョンを左チャネルオーディオ信号に加算する。一例では、クロストークキャンセルは、左チャネルオーディオ信号を、別個の低帯域左チャネルオーディオ信号及び高帯域左チャネルオーディオ信号と、別個の低帯域右チャネルオーディオ信号及び高帯域右チャネルオーディオ信号と、に分割させ、高帯域左及び右チャネルオーディオ信号を、ヘッドシャドウフィルタ、遅延、及び反転スケーラを通じて処理して、フィルタリングされた高帯域左及び右チャネルオーディオ信号を発生させ、フィルタリングされた高帯域左及び右チャネルオーディオ信号を高帯域左及び右チャネルオーディオ信号と結合させて、第１の結合信号を発生させ、クロストークキャンセル信号を発生させるために、第１の結合信号を低帯域左及び右オーディオチャネル信号と結合させる。
【0009】
別の態様では、オーディオシステムは、少なくとも左前オーディオ信号、右前オーディオ信号、中央前オーディオ信号、左高さオーディオ信号、及び右高さオーディオ信号を再生するように構成された複数のドライバと、入力オーディオ信号間の相関を判定することと、入力オーディオ信号の正規化チャネルエネルギーを判定することと、判定された相関及び正規化チャネルエネルギーから少なくとも左及び右高さオーディオ信号を発生させることと、左及び右高さオーディオ信号をドライバに提供することと、を行うように構成されているプロセッサと、を含む。
【0010】
いくつかの例は、上記及び／若しくは下記の特徴のうちの１つ、又はそれらの任意の組み合わせを含む。いくつかの例では、プロセッサは、入力オーディオ信号に対してフーリエ変換を実施するように更に構成されており、相関及び正規化チャネルエネルギーは、フーリエ変換に基づく。いくつかの例では、フーリエ変換は、一連のビンをもたらし、プロセッサは、サブオクターブ間隔を使用してビンをパーティショニングすることと、ビンに対する相関及び正規化チャネルエネルギーを別個に判定することと、を行うように更に構成されている。一例では、プロセッサは、オーディオシステムに、無相関左及び右チャネルオーディオ信号を発生させることと、無相関左及び右チャネルオーディオ信号に対してクロストークキャンセルを実施させることと、を行うように更に構成されている。
【図面の簡単な説明】
【0011】
【図1】高さチャネルアップミキシングを達成するように構成されているオーディオシステムの概略図である。
【図2】高さチャネルアップミキシングを達成するように構成されているサラウンドサウンドオーディオシステムの概略図である。
【図3】入力ステレオ信号から高さチャネルを発生させるアップミキサの態様の概略図である。
【図4】４軸サウンドバーとともに使用するための、アップミキサ及びクロストークキャンセラの概略図である。
【発明を実施するための形態】
【0012】
オーディオ分野において周知であるように、サラウンドサウンドオーディオシステムは、聴取者の前方、側方、及び後方の水平面に多かれ少なかれ配置される複数のチャネル（多くの場合、５若しくは７チャネル、又はそれ以上）を有することができる。システムはまた、聴取者の上方から音を提供するように配置される複数の高さチャネル（多くの場合、２つ若しくは４つ、又はそれ以上）を有することができる。最後に、システムは、１つ以上の低周波数チャネルを有することができる。一例として、５．１．４システムは、水平面に、１つの低周波数チャネル、及び４つの高さチャネルの５つのチャネルを有する。
【0013】
オブジェクトベースのサラウンドサウンド技術（例えば、ドルビーアトモス及びＤＴＳ：Ｘ）は、多数のトラックに加えて、関連付けられた空間オーディオ記述メタデータ（例えば、位置データ）を含む。各オーディオトラックは、オーディオチャネル又はオーディオオブジェクトに割り当てることができる。オブジェクトベースのオーディオのためのサラウンドサウンドシステムは、典型的な家庭用５．１システムよりも多くのチャネルを有し得る。例えば、オブジェクトベースのシステムは、３Ｄ位置仮想化を達成するために、複数のオーバーヘッドスピーカを含む１０個のチャネルを有し得る。再生中、サラウンドサウンドシステムは、各音がラウドスピーカに対してその指定されたスポットから来るように、オーディオオブジェクトをリアルタイムでレンダリングする。
【0014】
レガシーオーディオソースは、多くの場合、左及び右２つのチャネルのみを含む。このようなソースは、高さチャネルが現在の音響技術によって開発されることを可能にする情報を有していない。したがって、聴取者は、レガシーオーディオソースからの完全な没入型サラウンドサウンド体験を楽しむことができない。
【0015】
本開示は、高さ関連符号化を含まないオーディオソース、例えば、左及び右オーディオ信号を有するステレオソースから２つ（以上）の高さチャネルを発生させるように構成されているアップミキサを含む。したがって、本アップミキシングは、聴取者が、ステレオ入力において他の方法で利用可能なものよりも没入感のあるオーディオ体験を楽しむことを可能にする。アップミキシングは、入力オーディオ信号間の相関及び正規化チャネルエネルギーを判定することを含む。少なくとも２つの高さチャネル（例えば、左及び右高さオーディオ信号）が、相関及び正規化エネルギーから発生する。
【0016】
図１のオーディオシステム１０は、オーディオソース１８によってシステム１０に提供されるオーディオコンテンツの高さチャネルアップミキシングを達成するために使用されるように構成されている。いくつかの例では、オーディオソース１８は、左及び右チャネル（すなわち、ステレオ）オーディオ信号を提供する。他の例では、オーディオソースは、Ｄｏｌｂｙ５．１互換オーディオなど、高さチャネルを含まないサラウンドサウンドオーディオ信号のオーディオソースを含む。オーディオシステム１０は、オーディオ信号を受信し、本明細書の他の場所で説明されるようにそれらを処理し、音声を再生するために使用されるオーディオドライバのいくつか又は全てに、処理されたオーディオ信号を分配するプロセッサ１６を含む。一例では、処理されたオーディオ信号は、１つ以上の高さ信号を含む。一例では、処理されたオーディオ信号は、少なくとも中央、左、右、及び低周波エネルギー（low frequency energy、ＬＦＥ）信号を含む。いくつかの例では、システム１０は、ドライバ１２及び１４を含み、これらは、サウンドバーの左及び右ドライバであり得るが、そうである必要はない。サウンドバーは、多くの場合、テレビシステム用の音を生成するために使用されるように設計される。サウンドバーは、２つ以上のドライバを含み得る。サウンドバーは、オーディオ分野において周知であり、よって、本明細書では十分に説明されていない。一例では、プロセッサ１６からの出力信号は、５つの水平チャネル（中央、左、右、左サラウンド、及び右サラウンド）と、１つのＬＦＥチャネルと、左及び右高さチャネルと、を有する５．１．２オーディオシステムを定義する。一例では、高さチャネルは、音を天井から反射する左及び右上方発射ドライバを用いて再生される。
【0017】
プロセッサ１６は、オーディオソース１８によって提供されるオーディオ信号から、ドライバ１２及び１４にそれぞれ提供される少なくとも左及び右高さオーディオ信号を発生させるように構成されている、符号化されたコンピュータプログラム論理を有する非一時的コンピュータ可読媒体を含む。高さ関連情報（例えば、高さオブジェクト又は高さ符号化）を含まない入力オーディオ信号からの高さ信号の発生について、以下でより詳細に説明する。
【0018】
図２のサウンドバーオーディオシステム２０は、中央チャネルドライバ２６と、左前チャネルドライバ２８と、右前チャネルドライバ３０と、左高さチャネルドライバ３２と、右高さチャネルドライバ３４と、をそれぞれ含むサウンドバーエンクロージャ２２を含む。全てではないが多くの場合、ドライバ２６、２８、及び３０は、それらの主放射軸がほぼ水平であり、エンクロージャ２２から外向きに、例えば、それぞれ、聴取者の予想される位置に直接向かい、左及び右に向くように配向され、一方、ドライバ３２及び３４は、それらの放射が天井から跳ね返り、聴取者の視点からは天井から発せられるように見えるように上に向けられる。サウンドバーオーディオシステム２０はまた、典型的にはエンクロージャ２２に含まれないが、部屋の他の場所に位置し、ＬＦＥチャネルを再生するように構成されている、サブウーファ３５を含む。最後に、サウンドバーオーディオシステム２０は、オーディオソース３６から受信した入力オーディオ信号を処理するように構成されているプロセッサ２４（例えば、デジタル信号プロセッサ（digital signal processor、ＤＳＰ））を含む。ほとんどの場合、入力オーディオ信号は、（例解を容易にするために）図２に示されず、入力信号をプロセッサ２４に提供する信号受信及び処理成分によって受信されることに留意されたい。プロセッサ２４は、（プログラミングを介して）本明細書で説明される機能を実施するように構成されており、ドライバ３２及び３４、並びにこのようなドライバがオーディオシステムに含まれる場合、他の高さドライバへの高さオーディオ信号の提供がもたらされる。また、本開示は、サウンドバーオーディオシステムとともに使用することに決して限定されるものではなく、むしろ、プロセッサによって発生する高さオーディオ信号を再生するために使用することができるオーディオドライバを含む他のオーディオシステムとともに使用することができることに留意されたい。このような他のオーディオシステムの例としては、耳、頭、又は胴体に装着し、外耳道に直接音を入れないオープンオーディオデバイス（オーディオメガネ及び耳装着型を含むが、これらに限定されない）、及びヘッドホンが挙げられる。
【0019】
高さチャネルアップミキシング
本明細書で説明される例では、高さチャネルアップミキシングを使用して、高さ成分を含まないオーディオ信号から高さ成分が合成される。合成された高さ成分は、オーディオシステムの１つ以上のチャネルにおいて使用することができる。いくつかの例では、高さ成分は、入力ステレオ又は従来のサラウンドサウンドコンテンツから、左高さチャネル及び右高さチャネルを発生させるために使用される。いくつかの例では、高さ成分は、入力ステレオ又は従来のサラウンドサウンドコンテンツから、左前高さチャネル、右前高さチャネル、左後高さチャネル、及び右後高さチャネルを発生させるために使用される。合成された高さ成分は、当業者には明らかなように、他の方法で使用することができる。
本明細書で説明される例では、高さチャネルアップミキシングを使用して、高さ成分を含まないオーディオ信号から高さ成分が合成される。合成された高さ成分は、オーディオシステムの１つ以上のチャネルにおいて使用することができる。いくつかの例では、高さ成分は、入力ステレオ又は従来のサラウンドサウンドコンテンツから、左高さチャネル及び右高さチャネルを発生させるために使用される。いくつかの例では、高さ成分は、入力ステレオ又は従来のサラウンドサウンドコンテンツから、左前高さチャネル、右前高さチャネル、左後高さチャネル、及び右後高さチャネルを発生させるために使用される。合成された高さ成分は、当業者には明らかなように、他の方法で使用することができる。
【0020】
いくつかの実装様態では、本明細書で説明される高さチャネルアップミキシング技法は、他の三次元又はオブジェクトベースのサラウンドサウンド技術（ドルビーアトモス及びＤＴＳ：Ｘなど）に加えて、又はその代替として使用することができる。具体的には、本明細書で説明される高さチャネルアップミキシング技法は、コンテンツがそのように符号化されないときでも、三次元又はオブジェクトベースのサラウンドサウンド技術によって提供される同様の高さ（又は垂直軸）体験を提供することができる。例えば、高さチャネルアップミキシング技法は、聴取者をオーディオコンテンツにより完全に没入させるために、ステレオ音響に高さ成分を追加することができる。加えて、チャネルアップミキシング技法を使用して、コンテンツが高さ成分を含まない場合、又はコンテンツを含む高さ成分が適切に復号／レンダリングされ得ない場合であっても、１つ以上の上向き発射ドライバ（又はサウンドバーの主平面に対して４５度より大きいなど、水平よりも天井に向かって角度を付けられたものなど、相対的な上向き発射ドライバ）を含むサウンドバーが、音の高さ成分を追加するか、又は増加させることを可能にすることができる。例えば、多くのサウンドバーは、テレビへの単一のＨＤＭＩ ｅＡＲＣ接続を使用して、高さ成分（ドルビーアトモス又はＤＴＳ：Ｘコンテンツなど）を含むオーディオコンテンツを受信及び再生するが、ＨＤＭＩ ｅＡＲＣをサポートしないテレビの場合、このようなオーディオコンテンツは、テレビがオーディオコンテンツを受信することができるかどうかにかかわらず、テレビからサウンドバーに渡すことができない場合がある。したがって、本明細書で説明される高さチャネルアップミキシング技法は、このような問題に対処するために使用することができる。
【0021】
図３は、入力左及び右ステレオ信号から最高４つの高さチャネルを発生させるように構成されている、例示的な周波数領域アップミキサ５０の態様の概略図である。一例では、アップミキサ５０は、図２のプロセッサ２４などのプログラムされたプロセッサを用いて達成される。ＷＯＬＡ解析５２では、入力信号は、連続関数のサンプルを解析するのに有用な重み付け、オーバーラップ、加算離散時間高速フーリエ変換を使用して処理される。ＷＯＬＡへの入力として機能するオーディオデータのブロック（一例では、２０４８個のサンプルを含む）は、フレームと呼ばれることがある。ＷＯＬＡ解析技法は、この分野において周知であり、よって、本明細書ではこれ以上説明されていない。出力は、入力周波数にマッピングする分解された離散周波数又はビンである。次に、変換された信号は、複素相関及び正規化関数５４とチャネル抽出計算機能６０との両方に提供される。
【0022】
複素相関及び正規化５４では、以下の手法を使用して各ＦＦＴビンに対して相関が実施される。左及び右チャネルの各ＦＦＴビンを複素平面内のベクトルであると考える。次いで、一方のベクトルの他方へのスカラー投影が、式Ｄｏｔ（Ｌｅｆｔ，Ｒｉｇｈｔ）／（ｍａｇ（Ｌｅｆｔ）＊ｍａｇ（Ｒｉｇｈｔ））を使用して計算され、式中、ｍａｇ（ａ）＝Ｓｑｒｔ（Ｒｅａｌ（ａ）＾２＋Ｉｍａｇ（ａ）＾２）である。これは、負相関に対する－１から正相関に対する＋１までの相関値の範囲をもたらす。正規化エネルギーは、以下の手法を使用して各ＦＦＴビン上で計算される。左チャネル正規化エネルギー＝ｍａｇ（Ｌｅｆｔ）／（ｍａｇ（Ｌｅｆｔ）＋ｍａｇ（Ｒｉｇｈｔ））。右チャネル正規化エネルギー＝ｍａｇ（Ｒｉｇｈｔ）／（ｍａｇ（Ｌｅｆｔ）＋ｍａｇ（Ｒｉｇｈｔ））。この結果、等しいエネルギーに対しては０．５の範囲となり、ハードパンニングされた場合には１．０又は０．０の範囲となる。
【0023】
知覚パーティショニング５６では、ＦＦＴビンは、サブオクターブ間隔（例えば、１／３オクターブ間隔）を使用してパーティショニングされ、相関値及びエネルギー値は、各パーティションについて計算される。各パーティションの相関値及びエネルギーは、その後、各合成チャネル出力に対するアップミキシングマップを計算するために使用される。利用可能な処理リソースに基づいて、他の知覚的に基づくパーティションスキームが使用され得る。一例では、パーティショニングは、１０２４個のビンを２４個の一意の値又は帯域に低減するのに有効である。
【0024】
時間及び周波数平滑化５８では、各パーティション帯域は、以下の手法を使用して、時間軸及び周波数軸の両方上で指数関数的に平滑化される。時間平滑化のために、各パーティションの相関及び正規化エネルギーが、式：Ｐｓｍｏｏｔｈｅｄ（ｉ，ｎ）＝（１－ａｌｐｈａ）＊Ｐｕｎｓｍｏｏｔｈｅｄ（ｉ，ｎ）＋ａｌｐｈａ＊Ｐｓｍｏｏｔｈｅｄ（ｉ，ｎ－１）を使用して計算され、式中、ａｌｐｈａは、０：１とＰｓｍｏｏｔｈｅｄ（ｉ，ｎ－１）との間の値を有することができ、ｉ番目のパーティションに対する前のＦＦＴフレーム結果を表す。周波数平滑化のために、各パーティションの相関値は、その最も近い近傍の加重平均によって平滑化される。Ｗａｖｅｒａｇｅ（ｉ）＝Ｓｕｍ（Ｐｕｎｓｍｏｏｔｈｅｄ（ｊ）／ａｂｓ（ｊ－ｉ））のように、現在のパーティションに近いほど重みが大きくなり、ｊ！＝Ｉである全てのｊについて、最終的な加重平均は、Ｐｓｍｏｏｔｈｅｄ（ｉ）＝（Ｗａｖｅｒａｇｅ（ｉ）＋Ｐｕｎｓｍｏｏｔｈｅｄ（ｉ））／（１．０＋Ｓｕｍ（１．０／（ａｂｓ（ｊ－ｉ）））である。これは、周波数領域実装において存在することがあるミュージカルノイズアーチファクトを排除するのに役立つ。
【0025】
チャネル抽出計算６０では、チャネルは、相関及び正規化チャネルエネルギーの両方の関数として、エネルギー保存ベースで各パーティションについて抽出される。ハードパンニングされたコンテンツに対して、元のパンニングが保存されることを保証するための操作が存在し、これは、ハードパンニングされたコンテンツが相関＝０．０を有するので必要である。計算６０の出力は、標準のデータフォーマット、ＷＯＬＡ合成、及びバス管理技法（図示せず）を通じて処理されて、左前高さ、右前高さ、左後高さ、及び右後高さチャネルを含む５．１．４チャネル出力を作成する。４つの高さチャネル信号は、サウンドバーの左及び右高さドライバ、又は専用の高さドライバなどの適切なドライバに提供することができる。いくつかの例では、２つの高さチャネル（左及び右）があり、他の例では、４つより多くの高さチャネルがある。
【0026】
一例では、入力された左及び右オーディオ信号は、オーディオシステムプロセッサによってアップミックスされて、５．１．４チャネル出力を作成する。５つの水平チャネルは、左及び右前チャネル、中央チャネル、及び左及び右サラウンドチャネルを含む。４つの高さチャネルは、左及び右前高さチャネル、及び左及び右後高さチャネルを含む。左チャネル、中央チャネル、及び右チャネルは、複素相関及び正規化関数５２に関して上で説明されるように、－１．０と１．０との間の両耳間相関係数を判定し、左及び右正規化エネルギー値を判定することによって発生させることができる。中央チャネル信号は、左及び右チャネル入力の各々と別個に乗算された中央チャネル係数に基づいて判定される。中央チャネル係数は、両耳間相関係数が０より大きい場合は０より大きい値を有し、そうでない場合は０である。左及び右チャネル信号は、中央チャネルで使用されないエネルギーに基づく。入力が左及び右にハードパンニングされる場合、エネルギーは、適切な入力チャネル内に保持される。
【0027】
一例では、これら左及び右チャネル信号は、左及び右前信号、左及び右サラウンド信号、左及び右前高さ信号、及び左及び右後高さ信号に更に分割される。これらの分割は、両耳間相関係数、及び入力が左又は右にパンニングされる程度に基づく。両耳間相関係数が０．５より大きい場合、コンテンツは、高さチャネル又はサラウンドチャネルに操作されない。そうでなければ、前係数、前高さ係数、サラウンド係数、及び後高さ係数は、両耳間相関係数の値、及び左又は右パンニングの程度に基づいて判定される。前係数は、新しい左及び右チャネル出力信号を判定するために使用される。左及び右前高さ信号は、それぞれの前高さ係数によって乗算されたこれらの新しい左及び右チャネル出力信号に基づき、一方、左及び右後高さ信号は、それぞれの後高さ係数によって乗算されたこれらの新しい左及び右チャネル出力信号に基づく。左及び右サラウンド信号は、それぞれのサラウンド係数によって乗算されたこれらの新しい左及び右チャネル出力信号に基づく。新しい左及び右チャネル出力信号は、左及び右チャネルを発生させるために、パンニングの程度によって修正されたときに元の左及び右入力信号とブレンドされる。
【0028】
典型的なサウンドバーは、少なくとも３つの別個のオーディオドライバである左ドライバ、右ドライバ、及び中央ドライバを含む。高さチャネルをより良好に再生するために、サウンドバーはまた、左高さドライバ及び右高さドライバを含むことができる。高さドライバは、これらの一次音響放射軸が上に向くように物理的に配向され得、これにより、音が天井から反射され、その結果、音が上方から発せられることをユーザがより知覚しやすくなる。
【0029】
クロストークキャンセル
サウンドバーの正常な使用では、ユーザは、遠距離音場において、サウンドバーのおおよそ前に位置する（ユーザが、オーディオドライバから少なくとも約２つの平均波長に位置することを意味する）。従来のステレオ再生は、左チャネルが左耳並びに右耳によって聞かれ、右チャネルが右耳並びに左耳によって聞かれる、音響クロストークによる空間歪みを導入する。クロストークは、両耳間クロストークキャンセルを達成するためにプロセッサを使用することによって改良することができ、クロストークキャンセルは、各チャネルの遅延、反転、及びスケーリングされたバージョンを反対のチャネル（すなわち、左から右、及び右から左）にルーティングすることによって、クロストークによって引き起こされる問題を改善するように設計されている。遅延及び利得は、追加の伝搬遅延及び周波数依存ヘッドシャドウを反対側の耳に近似するように設計されている。この追加の信号は、反対側の耳におけるクロストーク成分を音響的にキャンセルする。
サウンドバーの正常な使用では、ユーザは、遠距離音場において、サウンドバーのおおよそ前に位置する（ユーザが、オーディオドライバから少なくとも約２つの平均波長に位置することを意味する）。従来のステレオ再生は、左チャネルが左耳並びに右耳によって聞かれ、右チャネルが右耳並びに左耳によって聞かれる、音響クロストークによる空間歪みを導入する。クロストークは、両耳間クロストークキャンセルを達成するためにプロセッサを使用することによって改良することができ、クロストークキャンセルは、各チャネルの遅延、反転、及びスケーリングされたバージョンを反対のチャネル（すなわち、左から右、及び右から左）にルーティングすることによって、クロストークによって引き起こされる問題を改善するように設計されている。遅延及び利得は、追加の伝搬遅延及び周波数依存ヘッドシャドウを反対側の耳に近似するように設計されている。この追加の信号は、反対側の耳におけるクロストーク成分を音響的にキャンセルする。
【0030】
しかしながら、このキャンセル手法は、相関信号成分（すなわち、左及び右チャネルに共通の信号成分）に、コーミングアーチファクトを出力に導入させる。コーミングは、信号が遅延され、それ自体に加えられるときに発生する。コーミングは、可聴異常をもたらし得るので、回避されるべきである。本クロストークキャンセル体制では、遅延されて一緒に加算される信号が無相関化され、それにより、コーミングアーチファクトが低減又は排除されることを確実にするためのステップがとられる。
【0031】
図４は、左チャネル、右チャネル、中央チャネル、及びＬＦＥチャネルを有する４軸（又は３．１）サウンドバーとともに使用するための、アップミキサ及びクロストークキャンセラの概略図である。典型的なステレオ入力は、無相関周波数依存成分及び相関周波数依存成分を有する。歪みのない、又はほぼ歪みのないキャンセルを保証するために、相関成分は、本明細書で説明される技法を使用して無相関成分から分離される。上で説明されるように、アップミキサ５０ａは、無相関左及び右信号を発生させるために使用することができる。オーディオ信号の無相関成分は、アップミキサを使用することなく発生させることができることを理解されたい。一例では、任意選択的なアップミキサ５０ａ（リフォーマッタとみなされ得る）は、２つのチャネル入力を受け入れ、３．１を出力することができる（すなわち、この例示的な実装様態では、無相関左及び右チャネル、相関中央チャネル、及び低周波エネルギー（ＬＦＥ）チャネル）。アップミキサ５０ａは、任意選択的であるので、いくつかの実装様態ではアップミキサを使用する必要はない。更に、いくつかの実装様態は、任意選択的なダウンミキサを使用して、再生前に入力チャネルの数を低減し得る。他の例では、無相関成分は、ランダム位相応答を有する一連の全域通過フィルタなどの無相関アルゴリズムを適用することによって発生する。本明細書で説明される技法は、２．０、２．１、３．０、３．１、５．０、５．１、７．０、７．１、５．１．２、５．１．４、７．１．２、７．１．４などを出力するためなど、任意の数の複数のチャネルを出力するシステムに使用され得ることに留意されたい。したがって、クロストークキャンセル技法は、オーディオにおける相関コンテンツの再生を改善するために、２スピーカデバイス又はシステムからのステレオ出力に使用することができる。また、本技法は、２チャネル（ステレオ）入力、６チャネル入力（例えば、５．１システム用）、８チャネル入力（例えば、５．１．２又は７．１システム用）、１０チャネル入力（例えば、７．１．２システム用）など、任意の数の複数チャネルを有するオーディオ入力を受信するシステムに使用され得ることに留意されたい。
【0032】
クロストークキャンセルを使用して、このようなソース位置を含まない入力信号からソース位置を仮想化することができる。本明細書で様々に説明されるクロストークキャンセル技法は、本明細書で様々に説明される高さチャネルアップミキシング技法とは別個に、又は一緒に使用することができる。
【0033】
無相関左及び右信号は、クロストークキャンセル機能８０に提供される。クロストークキャンセル機能の例は、図５に関連して以下に説明される。結果として得られる信号は、次いで、相関中央チャネル及びＬＦＥ信号とともに、サウンドバー１００に提供される。
【0034】
図５は、図４のクロストークキャンセラ８０の一例のより詳細な概略図である。クロストークキャンセルは、例えば、入力オーディオ信号又はデータが所望の高さチャネル又は高さオブジェクトを既に定義している場合、又はクロストークキャンセルが、複数のサウンドソース位置を仮想化するために使用される両耳間空間オーディオレンダリングなど、高さチャネルアップミキシングとは別に使用されているとき、チャネルアップミキシングとは別個に使用され得ることに留意されたい。無相関左及び右信号は、低帯域左及び右信号及び高帯域左及び右信号を出力する低帯域／高帯域分割機能８２に提供される。一例では、スプリッタ８２は、当技術分野において既知であるタイプの帯域通過フィルタを使用して達成される。一例では、２つの帯域の周波数範囲は、ほとんどの低周波コンテンツが高度に相関するので、低周波応答の損失を抑制するように選択される。この例では、低周波数及び高周波数は、クロストークキャンセルが実施される前に分離される。１つの非限定的な例では、低帯域は、ＤＣから約２００Ｈｚまでを包含し、高帯域は、約２００からＦｓ／２Ｈｚまでを包含する。高帯域信号は、ヘッドシャドウフィルタ８４に提供され、ヘッドシャドウフィルタ８４は、事前定義された到着角に基づいて同側耳から対側耳への伝達関数をシミュレートし、次いで、加算器９０によって元の高帯域信号と加算される前に、遅延並びに反転利得８６及び８８をそれぞれシミュレートするように意図される。出力は、加算器９２において低帯域信号と加算され、次いで、サウンドバーに提供される。
【0035】
図４に例解されるものなどのいくつかの例では、クロストークキャンセルは、高さチャネルアップミキシングとともに使用される。上で説明されるように、他の例では、クロストークキャンセルは、高さチャネルアップミキシングに関係なく使用される。
【0036】
いくつかの例では、本明細書で様々に説明されるような高さチャネルアップミキシング技法及び／又はクロストークキャンセル技法は、例えば、オンデバイス制御、遠隔制御、及び／又はモバイルアプリを使用してデフォルト状態から変更され得る制御可能な機能として提示される。このようなユーザがカスタマイズ可能な制御は、機能を有効化／無効化すること、及び／又は所望に応じて機能をカスタマイズすること、を含むことができる。例えば、高さチャネルアップミキシングのためのユーザがカスタマイズ可能な機能は、仮想化された高さチャネルのためのデフォルト相対音量（すなわち、他のチャネルのうちの１つ以上の音量に対する）を変更することを含むことができる。別の例では、ユーザは、所与の空間において高さチャネルがどのように方向付けられるかを変更するために、仮想化された高さチャネルのための一次聴取位置の距離をカスタマイズすることができる。更に、いくつかの実装態様では、ユーザのカスタマイズは、入力ソース及び／又はオーディオコンテンツと関連付けることができる。例えば、ユーザは、入力が接続されたテレビからのものであるときなど、入力ソースがビデオ（audio for video、Ａ４Ｖ）コンテンツのためのオーディオであるとき、高さチャネルアップミキシング機能を有効化することが可能であり得るが、入力が音楽ストリーミングサービスであるときなどは、音楽入力ソースのための機能を無効化することが可能であり得る。更に、ユーザは、音楽コンテンツを聴いているときに（入力ソースにかかわらず）高さチャネルアップミキシング機能を有効化することが可能であり得るが、ポッドキャスト及びオーディオブックコンテンツについては（やはり、入力ソースにかかわらず）その機能を無効化することが可能であり得る。
【0037】
図面の要素は、ブロック図の個別要素として図示及び説明される。これらの要素は、アナログ回路又はデジタル回路の１つ以上として実装され得る。代替的に、又は追加的に、これらの要素は、１つ以上のマイクロプロセッサがソフトウェア命令を遂行して実装され得る。ソフトウェア命令は、デジタル信号処理命令を含むことができる。動作は、アナログ回路により、又はマイクロプロセッサが、アナログ動作と同等の動作を実行するソフトウェアを遂行することにより実行することができる。信号ラインは、個別のアナログ信号ライン又はデジタル信号ラインとして、別個の信号を処理することができる適切な信号処理を行う個別のデジタル信号ラインとして、及び／又は無線通信システムの要素として実装され得る。
【0038】
ブロック図でプロセスが表現又は示唆されるときに、ステップは、１つの要素又は複数の要素によって実行され得る。これらのステップは、一括して実行される、又は異なる時点で行われ得る。活動を実行する要素は、物理的に同じであり得るか、若しくは互いに近接し得るか、又は物理的に別個であり得る。１つの要素は、１つのブロックよりも多くの活動を実行し得る。オーディオ信号は、符号化される場合又は符号化されない場合があり、デジタル形式又はアナログ形式のいずれかで伝送され得。従来のオーディオ信号処理装置及び動作は、図面から省略されている場合がある。
【0039】
本明細書において説明されるシステム及び方法の例は、当業者には明白であろうコンピュータ構成部品及びコンピュータによる実装ステップを含む。例えば、コンピュータ実装ステップが、例えば、フロッピーディスク、ハードディスク、光ディスク、フラッシュＲＯＭ、不揮発性ＲＯＭ、及びＲＡＭのコンピュータ可読媒体上にコンピュータ実行可能命令として記憶され得ることが当業者によって理解されるべきである。更に、コンピュータ実行可能命令が、例えば、マイクロプロセッサ、デジタル信号プロセッサ、ゲートアレイなどの様々なプロセッサ上で実行され得ることが当業者によって理解されるべきである。説明を容易にするために、システム及び方法の全てのステップ又は要素が、コンピュータシステムの一部として本明細書で説明されるわけではないが、各ステップ又は要素が、対応するコンピュータシステム又はソフトウェアコンポーネントを有し得ることを、当業者は認識するであろう。したがって、このようなコンピュータシステム及び／又はソフトウェアコンポーネントは、それらの対応するステップ又は要素（すなわち、それらの機能性）を説明することによって可能になり、かつ本開示の範囲内にある。
【0040】
複数の実装形態を説明してきた。それにもかかわらず、本明細書において説明される本発明の概念の範囲から逸脱することなく、追加の改変を行うことができ、したがって、他の例も、以下の特許請求の範囲の範囲内にあることが理解される。
【図1】
【図2】
【図3】
【図4】
【図5】
【国際調査報告】