特表2017-526265IP Force 特許公報全文掲載

(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】特表2017-526265(P2017-526265A)
(43)【公表日】2017年9月7日
(54)【発明の名称】オーディオ信号の強化のための装置と方法及び音響強化システム
(51)【国際特許分類】
   H04S 5/00 20060101AFI20170810BHJP
【FI】
   H04S5/00
【審査請求】有
【予備審査請求】未請求
【全頁数】40
(21)【出願番号】特願2017-505094(P2017-505094)
(86)(22)【出願日】2015年7月27日
(85)【翻訳文提出日】2017年2月20日
(86)【国際出願番号】EP2015067158
(87)【国際公開番号】WO2016016189
(87)【国際公開日】20160204
(31)【優先権主張番号】14179181.4
(32)【優先日】2014年7月30日
(33)【優先権主張国】EP
(81)【指定国】 AP(BW,GH,GM,KE,LR,LS,MW,MZ,NA,RW,SD,SL,ST,SZ,TZ,UG,ZM,ZW),EA(AM,AZ,BY,KG,KZ,RU,TJ,TM),EP(AL,AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GB,GR,HR,HU,IE,IS,IT,LT,LU,LV,MC,MK,MT,NL,NO,PL,PT,RO,RS,SE,SI,SK,SM,TR),OA(BF,BJ,CF,CG,CI,CM,GA,GN,GQ,GW,KM,ML,MR,NE,SN,TD,TG),AE,AG,AL,AM,AO,AT,AU,AZ,BA,BB,BG,BH,BN,BR,BW,BY,BZ,CA,CH,CL,CN,CO,CR,CU,CZ,DE,DK,DM,DO,DZ,EC,EE,EG,ES,FI,GB,GD,GE,GH,GM,GT,HN,HR,HU,ID,IL,IN,IR,IS,JP,KE,KG,KN,KP,KR,KZ,LA,LC,LK,LR,LS,LU,LY,MA,MD,ME,MG,MK,MN,MW,MX,MY,MZ,NA,NG,NI,NO,NZ,OM,PA,PE,PG,PH,PL,PT,QA,RO,RS,RU,RW,SA,SC,SD,SE,SG,SK,SL,SM,ST,SV,SY,TH,TJ,TM,TN,TR,TT,TZ,UA,UG,US
(71)【出願人】
【識別番号】500341779
【氏名又は名称】フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン
(74)【代理人】
【識別番号】100085497
【弁理士】
【氏名又は名称】筒井 秀隆
(72)【発明者】
【氏名】ウーレ,クリスチャン
(72)【発明者】
【氏名】ガンプ,パトリック
(72)【発明者】
【氏名】ヘルムース,オリバー
(72)【発明者】
【氏名】バルガ,ステファン
(72)【発明者】
【氏名】シャルラー,セバスチャン
【テーマコード(参考)】
5D162
【Fターム(参考)】
5D162AA06
5D162BA06
5D162CB12
5D162CC33
5D162DA28
5D162EE01
(57)【要約】
オーディオ信号を強化するための装置は、オーディオ信号を処理して過渡部分及び調性部分が低減又は除去された処理済み信号を得る信号処理部と、処理済み信号から第1のデコリレート済み信号と第2のデコリレート済み信号とを生成するデコリレータと、を含む。本装置はさらに、第1のデコリレート済み信号と第2のデコリレート済み信号とオーディオ信号又はオーディオ信号からコヒーレンス強化によって導出された信号とを、時間可変重みファクタを使用して重み付き結合し、2チャネルオーディオ信号を取得する結合部を備える。本装置はさらに、オーディオ信号の異なる部分が異なる重みファクタによって乗算され、2チャネルオーディオ信号がデコリレーションの時間変化度を有するように、オーディオ信号を分析することによって時間変化する重みファクタを制御するためのコントローラを備える。
【選択図】 図1
【特許請求の範囲】
【請求項1】
オーディオ信号(102)を強化するための装置(100;200)であって、
前記オーディオ信号(102)を処理して、処理済み信号(112;212)の過渡部分及び調性部分を低減又は除去する、信号処理部(110;210)と、
前記処理済み信号(112;212)から第1のデコリレート済み信号と第2のデコリレート済み信号(124;r2)とを生成するデコリレータ(120;520)と、
前記第1のデコリレート済み信号(122;522、r1)と第2のデコリレート済み信号(124;r2)と前記オーディオ信号又は前記オーディオ信号(102)からコヒーレンス強化によって導出された信号とを、時間可変重みファクタ(a,b)を使用して重み付き結合し、2チャネルオーディオ信号(142;242)を取得する結合部(140;240)と、
前記オーディオ信号の異なる部分(fb1−fb7)が異なる重みファクタ(a,b)によって乗算され、前記2チャネルオーディオ信号(142;242)がデコリレーションの時間変化度を有するように、前記オーディオ信号(122)を分析することによって前記時間可変重みファクタ(a,b)を制御するためのコントローラ(130;230)と、
を備える装置。
【請求項2】
請求項1に記載の装置において、前記コントローラ(130;230)は、高度のデコリレーションを許可する前記オーディオ信号(102)の部分(fb1−fb7)について前記重みファクタ(a,b)を増大させ、かつ低度のデコリレーションを許可する前記オーディオ信号(102)の部分(fb1−fb7)について前記重みファクタ(a,b)を減少させるよう構成された、装置。
【請求項3】
請求項1又は2に記載の装置において、前記コントローラ(130;230)は、前記2チャネルオーディオ信号(142;242)におけるデコリレーションの知覚レベルが目標値付近のある範囲内であって、前記目標値の±20%までの範囲内にとどまるように、前記重みファクタ(a,b)をスケールするよう構成されている、装置。
【請求項4】
請求項3に記載の装置において、前記コントローラ(130;230)は、前記オーディオ信号(102)を残響させることにより残響オーディオ信号を取得し、かつ前記残響オーディオ信号(102)と前記オーディオ信号とを比較することにより比較結果を取得して、前記目標値を決定するよう構成されており、前記コントローラは前記デコリレーションの知覚レベル(232)を前記比較結果に基づいて決定するよう構成されている、装置。
【請求項5】
請求項1乃至4のいずれか1項に記載の装置において、前記コントローラ(130;230)は、前記オーディオ信号(102)における顕著な音源信号部分を決定し、前記顕著な音源信号部分についての前記重みファクタ(a,b)を、顕著な音源信号部分を含まないオーディオ信号(102)の部分に比べて減少させるよう構成され、
前記コントローラ(130;230)は、前記オーディオ信号(102)における非顕著な音源信号部分を決定し、前記非顕著な音源信号部分についての前記重みファクタ(a,b)を、非顕著な音源信号部分を含まないオーディオ信号(102)の部分に比べて増大させるよう構成されている、装置。
【請求項6】
請求項1乃至5のいずれか1項に記載の装置において、前記コントローラ(130;230)は、
前記オーディオ信号(102)の一部分から試験デコリレート済み信号を生成し、
前記オーディオ信号の前記一部分及び前記試験デコリレート済み信号からデコリレーションの知覚レベルについての尺度を導出し、かつ
前記デコリレーションの知覚レベルについての尺度から前記重みファクタ(a,b)を導出するよう構成されている、装置。
【請求項7】
請求項6に記載の装置において、前記デコリレータ(120;520)は、第1の残響時間を有する前記オーディオ信号(102)の残響に基づいて前記第1のデコリレート済み信号(122;r1)を生成するよう構成され、前記コントローラ(130;230)は、第2の残響時間を有する前記オーディオ信号(102)の残響に基づいて前記試験デコリレート済み信号を生成するよう構成され、前記第2の残響時間は前記第1の残響時間より短い、装置。
【請求項8】
請求項1乃至7のいずれか1項に記載の装置において、
前記コントローラ(130;230)は、前記重みファクタ(a,b)がそれぞれ可能値の第1多数の1つの値を含むように前記重みファクタ(a,b)を制御するよう構成され、前記第1多数は最小値と最大値と前記最小値と最大値との間の値とを含む少なくとも3つの値を含み、
前記信号処理部(110;210)は、前記オーディオ信号(102)の一部分を周波数ドメインでそれぞれ表現している周波数帯域の第2多数についてのスペクトル重み(217、219)を決定するよう構成され、前記スペクトル重み(217、219)はそれぞれ可能値の第3多数の1つの値を含み、前記第3多数は最小値と最大値と前記最小値と最大値との間の値とを含む少なくとも3つの値を含む、装置。
【請求項9】
請求項1乃至8のいずれか1項に記載の装置において、前記信号処理部(110;210)は、
前記オーディオ信号(102)が周波数ドメインへ変換され、かつ周波数帯域(fb1−fb7)の第2多数が前記オーディオ信号(102)の一部分の第2多数を周波数ドメインで表すように、前記オーディオ信号(102)を処理するよう構成され、
各周波数帯域(fb1−fb7)について、前記オーディオ信号(102)の過渡処理(211)についての処理値を表す第1スペクトル重み(217)を決定するよう構成され、
各周波数帯域(fb1−fb7)について、前記オーディオ信号(102)の調性処理(213)についての処理値を表す第2スペクトル重み(219)を決定するよう構成され、
各周波数帯域(fb1−fb7)について、前記第1スペクトル重み(217)と前記第2スペクトル重み(219)との少なくとも1つを、前記周波数帯域(fb1−fb7)における前記オーディオ信号(102)のスペクトル値へ適用するよう構成され、
前記第1スペクトル重み(217)及び前記第2スペクトル重み(219)はそれぞれ、可能値の第3多数の1つの値を含み、前記第3多数は最小値と最大値と前記最小値と最大値との間の値とを含む少なくとも3つの値を含む、装置。
【請求項10】
請求項9に記載の装置において、前記信号処理部(110;210)は、前記周波数帯域(fb1−fb7)の第2多数のそれぞれについて、前記周波数帯域(fb1−fb7)について決定された前記第1スペクトル重み(217)と前記第2スペクトル重み(219)とを比較するよう構成され、前記2つの値の1つが小さな値を含むかどうかを決定し、前記小さな値を含む前記スペクトル重み(217、219)を、前記周波数帯域(fb1−fb7)における前記オーディオ信号(102)のスペクトル値に適用するよう構成される、装置。
【請求項11】
請求項1乃至10のいずれか1項に記載の装置において、前記デコリレータ(520)は、前記処理済みオーディオ信号(512、s)をフィルタリングして前記第1のデコリレート済み信号(522、r1)を取得するよう構成された第1のデコリレートフィルタ(526)と、前記処理済みオーディオ信号(512、s)をフィルタリングして第2のデコリレート済み信号(524、r2)を取得するよう構成された第2のデコリレートフィルタ(528)とを含み、前記結合部(140;240)は、前記第1のデコリレート済み信号(522、r1)と前記第2のデコリレート済み信号(524、r2)と前記オーディオ信号(102)又はこのオーディオ信号(102)から導出された信号(136;236)とを重み付き結合して、前記2チャネルオーディオ信号(142;242)を取得するよう構成された、装置。
【請求項12】
請求項1乃至11のいずれか1項に記載の装置において、周波数帯域(fb1−fb7)の第2多数について、前記周波数帯域(fb1−fb7)の各々が、前記周波数ドメインにおいて表された第1の期間を有する前記オーディオ信号(102)の一部分を含み、
前記コントローラ(130;230)は、前記重みファクタ(a,b)がそれぞれ可能値の第1多数の1つの値を含むように前記重みファクタ(a,b)を制御するよう構成され、前記第1多数は最小値と最大値と前記最小値と最大値との間の値とを含む少なくとも3つの値を含み、
前記コントローラ(130;230)は、現実の期間について決定された重みファクタ(a,b)の1つと以前の期間について決定された重みファクタ(a,b)の1つとに基づいた比又は差が、閾値より大きいか又は等しい場合に、前記比又は差の値が減少するように、現実の期間について決定された前記重みファクタ(a,b)を適応させるよう構成され、
前記信号処理部(110;210)は、それぞれが可能値の第3多数の1つの値を含む、前記スペクトル重み(217;219)を決定するよう構成され、前記第3多数は最小値と最大値と前記最小値と最大値との間の値とを含む少なくとも3つの値を含む、装置。
【請求項13】
請求項1乃至12のいずれか1項に記載のオーディオ信号を強化するための装置(801)と、
前記オーディオ信号(102)を受信するよう構成された信号入力(106)と、
前記2チャネルオーディオ信号(y1/y2)又は前記2チャネルオーディオ信号(y1/y2)から導出された信号を受信し、前記2チャネルオーディオ信号(y1/y2)又は前記2チャネルオーディオ信号(y1/y2)から導出された信号から音響信号を生成するよう構成された、少なくとも2個のラウドスピーカ(808a,808b)と、
を備えた音響強化システム(800)。
【請求項14】
オーディオ信号(102)を強化するための方法(1100)であって、
前記オーディオ信号(102)を処理して、処理済み信号(112;212)の過渡部分及び調性部分を低減又は除去するステップ(1110)と、
前記処理済み信号(112;212)から第1のデコリレート済み信号(122、r1)と第2のデコリレート済み信号(124;r2)とを生成するステップ(1120)と、
前記第1のデコリレート済み信号(122、r1)と第2のデコリレート済み信号(124、r2)と前記オーディオ信号(102)又は前記オーディオ信号(102)からコヒーレンス強化によって導出された信号(136;236)とを、時間可変重みファクタ(a,b)を使用して重み付き結合し、2チャネルオーディオ信号(142;242)を取得するステップ(1130)と、
前記オーディオ信号の異なる部分が異なる重みファクタ(a,b)によって乗算され、前記2チャネルオーディオ信号(142;242)がデコリレーションの時間変化度を有するように、前記オーディオ信号(102)を分析することによって前記時間可変重みファクタ(a,b)を制御するステップ(1140)と、
を備える方法。
【請求項15】
コンピュータ上で実行されたとき、請求項14に記載のオーディオ信号を強化する方法を実行するための、プログラムコードを有するコンピュータプログラムが格納された非一時的記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本出願は、オーディオ信号処理に関し、特にモノラル又はデュアルモノラル信号のオーディオ処理
【背景技術】
【0002】
聴覚シーンは直接音と環境音のミックスとしてモデル化され得る。直接音(又は方向性音)は音源、例えば楽器、ボーカリスト又はラウドスピーカによって放射され、受信者、例えばリスナーの耳又はマイクロホンに最短の可能な経路で到達する。間隔をあけたマイクロホンのセットを使用して直接音を捕える場合、受信される信号はコヒーレントである。対照的に、環境(又は拡散)音は、多くの間隔をあけた音源又は例えば室内残響、拍手喝采、又はバブル雑音に寄与する音響反射境界によって放射される。間隔をあけたマイクロホンのセットを使用して環境音場を捕捉する場合、受信される信号は少なくとも部分的に非コヒーレントである。
【0003】
モノラル音響再生は、幾つかの再生シナリオ(例えばダンスクラブなど)において、又は幾つかのタイプの信号(例えばスピーチ録音など)について、適切であると考えられるが、大半の音楽録音、映画音響、テレビ音響はステレオ信号である。ステレオ信号は、環境(又は拡散)音及び音源の方向と幅の感覚を創造し得る。このことは、空間キューによって符号化されたステレオ情報によって達成される。最も重要な空間キューはチャネル間レベル差(ICLD)、チャネル間時間差(ICTD)、及びチャネル間コヒーレンス(ICC)である。したがって、ステレオ信号及び対応する音響再生システムは2つ以上のチャネルを有する。ICLD及びICTDは方向感覚に寄与する。ICCは、音の幅感覚を誘起し、環境音の場合に、音が全ての方向から到来するように知覚される。
【0004】
多チャネル音響再生は種々のフォーマットで存在するが、大半のオーディオ録音及び音響再生システムは依然として2チャネルを有している。2チャネルステレオ音響は、娯楽システムについては標準であり、リスナーもそれに慣れている。しかしながら、ステレオ信号は2つのチャネル信号を有するだけに限定されず、2チャネル以上の信号を有し得る。同様に、モノラル信号は1つのチャネル信号を有するだけに限定されず、複数かつ互いに同一のチャネル信号を有してもよい。例えば、2つの同一のチャネル信号を含むオーディオ信号は、デュアルモノラル信号と呼ばれても良い。
【0005】
ステレオ信号に代えてモノラル信号がリスナーに対して利用可能であるという理由は、様々にある。第1に、昔の録音はモノラルであり、その時代にはステレオ技術が使用されていなかったためである。第2に、伝送又は記憶媒体の帯域幅の制約が、ステレオ情報の損失を招き得るからである。顕著な例は、周波数変調(FM)を用いたラジオ放送である。ここで、伝送の妨害源、マルチパス歪み又は他の障害はノイズの多いステレオ情報をもたらし、そのステレオ情報は、2チャネル信号の伝送のために、両チャネル間の差信号として典型的に符号化される。受信状況が劣悪である場合には、部分的又は完全にステレオ情報を廃棄することは通常の慣行である。
【0006】
ステレオ情報の損失は、音質の低下を招く可能性がある。一般に、多数のチャネルを含むオーディオ信号ほど、少数のチャネルを含むオーディオ信号に比べて、より高い音質を含み得る。リスナーはより高い音質を持つオーディオ信号を聞きたいと欲するであろう。媒体を介する伝送又は媒体への記憶のデータレートのような効率上の理由により、音質は低下しやすい。
【0007】
したがって、オーディオ信号の音質を強化するための必要性が存在する。
【先行技術文献】
【特許文献】
【0008】
【特許文献1】欧州特許出願公開EP2541542A1
【発明の概要】
【発明が解決しようとする課題】
【0009】
したがって、本発明の目的は、オーディオ信号の強化のための装置又は方法を提供することであり、及び/又は再生されたオーディオ信号の感覚を増大させることである。
【課題を解決するための手段】
【0010】
この目的は、請求項1に係るオーディオ信号を強化する装置、請求項14に係るオーディオ信号を強化する方法、請求項13に係る音響強化システム、又は請求項15に係るコンピュータプログラムによって達成される。
【0011】
本発明は、受信されたオーディオを少なくとも2つの部分に分割することにより、かつ受信された信号の分担の少なくとも1つをデコリレートすることにより、空間キューを人工的に生成することによって、受信されたオーディオ信号は強化され得る、という知見に基づいている。部分同士の重み付き結合は、ステレオとして知覚されるオーディオ信号、つまり強化されたオーディオ信号の受信を可能にする。適用される重みを制御することは、デコリレーションの程度の変化を可能にし、つまり強化の程度の変化を可能にし、デコリレーションが音質を低下させる困惑効果をもたらしうる場合に、強化のレベルを低くすることが可能になる。このように、スピーチ信号のように低いデコリレーションが適用され又はデコリレーションが適用されないような部分又は期間を含み、かつ音楽信号のように多くの又はより高度のデコリレーションが適用されるような部分又は期間を含む、可変のオーディオ信号は、強化されることができる。
【0012】
オーディオ信号を強化する(enhancing)装置を提供する。この装置は、オーディオ信号を処理して、処理済み信号の過渡部分及び調性部分を低減又は除去する信号処理部を含む。この装置は、さらに処理済み信号から第1のデコリレート済み信号と第2のデコリレート済み信号とを生成するデコリレータを含む。この装置はさらに、結合部とコントローラとを備える。結合部は、第1のデコリレート済み信号と第2のデコリレート済み信号とオーディオ信号又はこのオーディオ信号からコヒーレンス強化によって導出された信号とを時間可変重みファクタ(time variant weighting factors)を使用して重み付き結合し、2チャネルオーディオ信号を取得するよう構成される。コントローラは、オーディオ信号を分析することによって時間可変重みファクタを制御するよう構成され、それによりオーディオ信号の異なる部分が異なる重みファクタによって乗算され、かつ2チャネルオーディオ信号がデコリレーションの時間変化度(time variant degree)を有するようになる。
【0013】
単一チャネルを持つ信号、又は複数であるが殆ど同一のチャネル信号を持つ信号などのように、ステレオ(又は多チャネルの)情報を殆ど持たないか又は全く持たないオーディオ信号は、本強化が適用された後、多チャネル例えばステレオ信号として知覚され得る。受信されたモノラル又はデュアルモノラルオーディオ信号は、異なる経路で異なるように処理されることができ、1つの経路ではオーディオ信号の過渡及び/又は調性部分が低減され又は除去される。このように、デコリレートされ、そのデコリレート済み信号がオーディオ信号又はこのオーディオ信号から導出された信号を含む第2経路と重み付き結合されるように処理された信号は、2つの信号チャネルを取得することを可能にし、それら2つのチャネルが1つのステレオ信号として知覚されるように、それら2つの信号チャネルは互いに対して高いデコリレーションファクタを含み得る。
【0014】
デコリレート済み信号とオーディオ信号(又はそれから導出された信号)とを重み付き結合するために使用される重みファクタを制御することによって、デコリレーションの時間変化度が取得され得るので、オーディオ信号を強化することが望ましくない効果をもたらし得る状況においては、その強化が低減され又は省かれ得る。例えば、1つのラジオスピーカの1つの信号、又は他の顕著な音源信号を強化することは望ましくないこともある。なぜなら、複数の音源位置から1つのスピーカを知覚することは、リスナーにとって困惑させる効果をもたらすからである。
【0015】
さらなる実施形態によれば、オーディオ信号を強化する装置は、オーディオ信号を処理して、処理済み信号の過渡部分及び調性部分を低減又は除去する、信号処理部を含む。この装置はさらに、デコリレータと結合部とコントローラとを含む。デコリレータは、処理済み信号から第1のデコリレート済み信号と第2のデコリレート済み信号とを生成するよう構成される。結合部は、第1のデコリレート済み信号とオーディオ信号又はこのオーディオ信号からコヒーレンス強化によって導出された信号とを、時間可変重みファクタを使用して重み付き結合し、2チャネルオーディオ信号を取得するよう構成される。コントローラは、オーディオ信号を分析することによって時間可変重みファクタを制御するよう構成され、それによりオーディオ信号の異なる部分が異なる重みファクタによって乗算され、かつ2チャネルオーディオ信号がデコリレーションの時間変化度を有するようになる。このことは、モノラル信号又はモノラル信号と同様な信号(例えばデュアルモノラル又はマルチモノラル信号)をステレオチャネル・オーディオ信号として知覚させることを可能にする。
【0016】
オーディオ信号を処理するために、コントローラ及び/又は信号処理部は、周波数ドメインでオーディオ信号の表現を処理するよう構成されてもよい。この表現は、複数の又は多数の周波数帯域(サブバンド)を含んでもよく、各帯域は部分、つまりオーディオ信号の部分又はオーディオ信号のスペクトルをそれぞれ含む。各周波数帯域について、コントローラは2チャネルオーディオ信号におけるデコリレーションの知覚レベルを予測するよう構成されてもよい。コントローラはさらに、オーディオ信号の幾つかの部分(周波数帯域)についてデコリレーションの程度を高め得るよう重みファクタを増大させ、オーディオ信号の幾つかの部分についてデコリレーションの程度を低減し得るよう重みファクタを減少させるよう構成されてもよい。例えば、拍手喝采又はバブル雑音のような非顕著な音源信号を含む部分は、顕著な音源信号を含む部分に比べて、より高いデコリレーションを可能にする重みファクタによって結合されてもよい。ここで、顕著な音源信号という用語は、例えば、スピーチ、楽器、ボーカリスト又はラウドスピーカのように、直接音として知覚される信号の部分について用いられる。
【0017】
前記処理部は、幾つか又は全ての周波数帯域の各々について、周波数帯域が過渡又は調性成分を含むかどうかを決定し、かつ過渡又は調性部分の低減を可能にするスペクトル重みを決定するよう構成されてもよい。スペクトル重み及びスケーリングファクタは、それぞれ複数の可能な値を含んでもよく、それにより二値決定に起因する困惑効果が低減され及び/又は回避され得る。
【0018】
コントローラはさらに、2チャネルオーディオ信号におけるデコリレーションの知覚レベルが目標値付近のある範囲内にあるように、重みファクタをスケールするよう構成されてもよい。その範囲は、例えば目標値の±20%、±10%又は±5%まで広がっても良い。目標値は、例えば調性及び/又は過渡部分の尺度のために予め決定された値であってもよく、例えば、変化する過渡及び調性部分を含むオーディオ信号が、変化する目標値を取得できるように決定されてもよい。これにより、オーディオ信号がデコリレート済みであるか又はスピーチのように顕著な音源に対してデコリレーション無しが望まれている場合には、低度又は皆無にもなるデコリレーションが実行され、他方、信号がデコリレートされておらず及び/又はデコリレーションが望まれる場合には、高度なデコリレーションが実行されることが可能になる。重みファクタ及び/又はスペクトル重みは、多数の値又はほぼ連続的に決定され、及び/又は調整されてもよい。
【0019】
デコリレータは、オーディオ信号の残響又は遅延に基づいて、第1のデコリレート済み信号を生成するよう構成されてもよい。コントローラは、またオーディオ信号の残響又は遅延に基づいて、試験デコリレート済み信号を生成するよう構成されてもよい。残響は、オーディオ信号を遅延させ、オーディオ信号とその遅延済みバージョンとを、有限インパルス応答フィルタ構造に類似するよう結合することにより実行されてもよく、ここで残響は無限インパルス応答フィルタとして実装されてもよい。遅延時間及び/又は遅延及び結合の数は変化し得る。試験デコリレート済み信号のためにオーディオ信号を遅延させ又は残響させる遅延時間は、第1のデコリレート済み信号のためにオーディオ信号を遅延させ又は残響させるための遅延時間よりも短くてもよく、これは例えば遅延フィルタのフィルタ係数がより少ないという結果をもたらしてもよい。デコリレーションの知覚強度を予測するためには、デコリレーションのより低い程度、従ってより短い遅延時間でも十分であり、遅延時間及び/又はフィルタ係数を低減させることで、演算量及び/又は演算パワーを低減させることが可能になる。
【0020】
以下に、本発明の好ましい実施形態について、添付の図面を参照しながら説明する。
【図面の簡単な説明】
【0021】
【図1】オーディオ信号を強化する装置の概略ブロック図を示す。
【図2】オーディオ信号を強化するさらなる装置の概略ブロック図を示す。
【図3】デコリレーションの予測された知覚強度のレベルに基づいて、スケーリングファクタ(重みファクタ)の計算を示す例示的な表を示す。
【図4a】重みファクタを部分的に決定するために実行され得る方法の一部の概略フローチャート図を示す。
【図4b】デコリレーションの知覚レベルの尺度を閾値と比べたある場合を示す、図4aの方法のさらなるステップの概略フローチャート図を示す。
【図5】図1におけるデコリレータとして作動し得る、デコリレータの概略ブロック図を示す。
【図6a】少なくとも1つの過渡(短時間)信号部分を含む、オーディオ信号のスペクトルを含む概略図を示す。
【図6b】調性部分を含むオーディオ信号の概略スペクトルを示す。
【図7a】過渡処理ステージによって実行される可能な過渡処理を示す概略的な表である。
【図7b】調性処理ステージによって実行され得る可能な調性処理を示す例示的な表である。
【図8】オーディオ信号を強化する装置を含む音響強化システムの概略ブロック図を示す。
【図9a】前景/背景処理に従う入力信号の処理の概略ブロック図である。
【図9b】入力信号の前景信号及び背景信号への分離を示す図である。
【図10】スペクトル重みを入力信号へ適用するよう構成された装置の概略ブロック図を示す。
【図11】オーディオ信号を強化するための方法の概略フローチャート図を示す。
【図12】直接信号成分又はドライ信号成分と残響信号成分とを含むミックス信号における、残響/デコリレーションの知覚レベルのための尺度を決定する装置を示す。
【図13a】ラウドネスモデル処理部の構成を示す図である。
【図13b】ラウドネスモデル処理部の構成を示す図である。
【図13c】ラウドネスモデル処理部の構成を示す図である。
【図14】図12、13a、13b、13cに関する幾つかの態様の中で既に説明された、ラウドネスモデル処理部の構成を示す。
【発明を実施するための形態】
【0022】
同一又は同等な要素、又は同一又は同等な機能を有する要素は、異なる図であっても、以下の説明では同一又は同等な参照番号によって示されている。
【0023】
以下の説明では、複数の詳細例が本発明の実施形態のさらに完全な説明を提供するために説明される。しかしながら、それらの特異な詳細に拘わらず実施され得ることは、当業者にとっては自明のことであろう。換言すれば、周知の構造や装置は、本発明の実施形態を不明瞭にするのを避けるため、その詳細よりもブロック図の形態で示される。さらに、以下に示される異なる実施形態の特徴は、特に不可能の注意書きがない限り、互いに結合が可能である。
【0024】
以下では、オーディオ信号の処理について言及する。装置又はその構成要素は、オーディオ信号を受信し、提供し、及び/又は処理するよう構成されてもよい。個々のオーディオ信号は、時間ドメイン及び/又は周波数ドメインにおいて受信され、提供され、又は処理されてもよい。時間ドメインにおけるオーディオ信号表現は、例えばフーリエ変換などの方法でオーディオ信号の周波数表現へと変換されてもよい。周波数表現は、例えば短時間フーリエ変換(STFT)、離散コサイン変換及び/又は高速フーリエ変換(FFT)を使用して取得されてもよい。代替的又は追加的に、周波数表現は直交ミラーフィルタ(QMF)を含み得るフィルタバンクによって取得されてもよい。オーディオ信号の周波数ドメイン表現は、フーリエ変換から公知のように、それぞれのフレームが複数のサブバンドを含む複数のフレームを含み得る。各サブバンドはオーディオ信号の一部を含む。オーディオ信号の時間表現及び周波数表現は一方から他方へと変換され得るので、以下の説明ではオーディオ信号が時間ドメイン表現であるか又は周波数ドメイン表現であるかに限定されるべきでない。
【0025】
図1は、オーディオ信号102を強化するための装置10の概略ブロック図を示す。オーディオ信号102は、周波数ドメイン又は時間ドメインで表現される、例えばモノラル信号、又はデュアルモノラル信号のようなモノラル状信号である。装置10は信号処理部110、デコリレータ120、コントローラ130、及び結合部140を備えている。信号処理部110は、オーディオ信号102を受信し、オーディオ信号102を処理して処理済み信号112を得るよう構成され、その処理によりオーディオ信号102に比べて処理済み信号112の過渡部分及び調性部分を低減し又は除去するよう構成されている。
【0026】
デコリレータ120は、処理済み信号112を受信し、その処理済み信号112から第1のデコリレート済み信号122と第2のデコリレート済み信号124とを生成するよう構成されている。デコリレータ120は、処理済み信号112を少なくとも部分的に残響(reverberating)させることにより、第1のデコリレート済み信号122と第2のデコリレート済み信号124とを生成するよう構成されてもよい。第1のデコリレート済み信号122と第2のデコリレート済み信号124とは、第1のデコリレート済み信号122が第2のデコリレート済み信号124に比べて短い又は長い時間遅延(残響時間)を持つように、残響のための異なる時間遅延を含んでもよい。また、第1又は第2のデコリレート済み信号122又は124は、遅延又は残響フィルタを介さずに処理されてもよい。
【0027】
デコリレータ120は、第1のデコリレート済み信号122と第2のデコリレート済み信号124とを結合部140へ提供するよう構成されている。コントローラ130は、オーディオ信号102を受信し、かつオーディオ信号102を分析することによりオーディオ信号102の異なる部分が異なる重みファクタa又はbによって乗算されるように時間可変重みファクタa,bを制御するよう構成される。したがって、コントローラ130は、重みファクタa及びbを決定するよう構成されたコントロールユニット132を含む。コントローラ130は、周波数ドメインにおいて作動するよう構成されてもよい。コントロールユニット132は、短時間フーリエ変換(STFT)、高速フーリエ変換(FFT)、及び/又は標準的なフーリエ変換(FT)を使用して、オーディオ信号102を周波数ドメインへ変換するよう構成されてもよい。オーディオ信号102の周波数ドメイン表現は、フーリエ変換から周知のように複数のサブバンドを含んでも良い。各サブバンドはオーディオ信号の一部を含む。代替的に、オーディオ信号102は周波数ドメインにおける信号の表現であってもよい。コントロールユニット132は、オーディオ信号のデジタル表現の各サブバンドについて、ペアとなる重みファクタa、bを制御及び/又は決定するよう構成されてもよい。
【0028】
結合部は、第1のデコリレート済み信号122と第2のデコリレート済み信号124とオーディオ信号102から導出された信号136とを、重みファクタa,bを使用して重み付き結合するよう構成されている。オーディオ信号102から導出された信号136は、コントローラ130によって提供されてもよい。したがって、コントローラ130は任意選択の導出ユニット134を備えていてもより。導出ユニット134は、オーディオ信号102の部分を、例えば適応、修正、又は強化するよう構成されてもよい。特に、導出ユニット110は、信号処理部110によって減衰され、低減され又は除去されているオーディオ信号102の部分を増幅するよう構成されてもよい。
【0029】
信号処理部110は、また周波数ドメインで作動するよう構成されてもよく、しかも信号処理部110がオーディオ信号102のスペクトルの各サブバンドについての過渡部分及び調性部分を低減し又は除去するように、オーディオ信号102を処理するよう構成されてもよい。このことは、過渡部分が少ないか若しくは含まない、又は調性部分が少ないか含まない(ノイズの多い)サブバンドについて、少ない処理又は全く処理を必要としないことをもたらす可能性がある。代替的に、結合部140は、導出された信号に代えてオーディオ信号102を受信してもよく、つまりコントローラ130は導出ユニット134を備えずに構成され得る。その場合、信号136はオーディオ信号102と同じであってもよい。
【0030】
結合部140は、重みファクタa,bを含む重み信号138を受信するよう構成される。結合部140は、さらに第1チャネルy1と第2チャネルy2とを含む出力オーディオ信号142を取得するよう構成され、つまりオーディオ信号142は2チャネルオーディオ信号である。
【0031】
信号処理部110、デコリレータ120、コントローラ130及び結合部140は、オーディオ信号102、そのオーディオ信号から導出された信号136、及び/又は処理済み信号112、122及び/又は124をフレーム毎に及びサブバンド毎に処理するよう構成されてもよく、その場合、信号処理部110、デコリレータ120、コントローラ130及び結合部140が、1つ以上の周波数帯域(信号の部分)を一度に処理することによって、各周波数帯域に対して上述した動作を実行するよう構成されてもよい。
【0032】
図2はオーディオ信号102を強化するための装置200の概略ブロック図を示す。この装置200は、信号処理部210、デコリレータ120、コントローラ230及び結合部240を備える。デコリレータ120は、r1で示された第1のデコリレート済み信号122と、r2で示された第2のデコリレート済み信号124とを生成するよう構成される。
【0033】
信号処理部210は、過渡処理ステージ211と、調性処理ステージ213と、結合ステージ215とを備える。信号処理部210はオーディオ信号102の表現を周波数ドメインで処理するよう構成される。オーディオ信号102の周波数ドメイン表現は、多数のサブバンド(周波数帯域)を含み、過渡処理ステージ211と調性処理ステージ213とは各周波数帯域を処理するよう構成される。代替的に、20Hz、50Hz又は100Hz以下、及び/又は16kHz、18kHz又は22kHz以上の周波数帯域のように、ある周波数範囲又は周波数帯域をさらなる処理から除外するために、オーディオ信号102の周波数変換によって得られたスペクトルは低減、つまりカットされてもよい。このことは、演算量の削減を可能にし、そのためさらに高速及び/又はさらに正確な処理が可能になる。
【0034】
過渡処理ステージ211は、各処理済みの周波数帯域について、周波数帯域が過渡部分を含むかどうかを決定するよう構成される。調性処理ステージ213は、各周波数帯域についてオーディオ信号102が周波数帯域内に調性部分を含むかどうかを決定するよう構成される。過渡処理ステージ211は、少なくとも過渡部分を含む周波数帯域について、スペクトル重みファクタ217を決定するよう構成され、そのスペクトル重みファクタ217は個々の周波数帯域と関連している。図6a及び6bで説明するように、過渡特性及び調性特性はスペクトル処理によって識別されてもよい。過渡レベル及び又は調性レベルは、過渡処理ステージ211及び/又は調性処理ステージ213によって測定されてもよく、スペクトル重みに変換されてもよい。調性処理ステージ213は、少なくとも調性部分を含む周波数帯域についてスペクトル重みファクタ219を決定するよう構成される。スペクトル重みファクタ217、219は多数の可能値を含んでもよく、スペクトル重みファクタ217及び/又は219の大きさは、その周波数帯域内の過渡部分及び/又は調性部分の量を示している。
【0035】
スペクトル重みファクタ217及び219は、絶対値又は相対値を含んでも良い。例えば、絶対値は周波数帯域における過渡音及び/又は調性音のエネルギー値を含んでも良い。代替的に、スペクトル重みファクタ217及び/又は219は、0と1との間の値のような相対値を含んでもよく、値0は周波数帯域が過渡又は調性部分を全く含まないか又は殆ど含まないことを示し、値1は周波数帯域が過渡及び/又は調性部分の大部分又は完全に含むことを示している。スペクトル重みファクタは、3、5、10個のような多数の値(ステップ)、例えば(0,0.3及び1)、(0.1,0.2,...,1)などの値のうちの1つを含み得る。縮尺の大きさ、最小値と最大値との間のステップの数は、少なくともゼロであり得るが、好ましくは少なくとも1及びさらに好ましくは少なくとも5である。好ましくは、スペクトル重み217及び219の多数の値は、最小値と、最大値と、最小値及び最大値の間の値とを含む、少なくとも3個の値を含む。最小値と最大値との間の値が多ければ多いほど、各周波数帯域のより連続的な重み付けが可能となり得る。最小値と最大値は、0と1、又はそれ以外の値同士の間の縮尺へとスケールされてもよい。最大値は過渡性及び/又は調性の最高レベル又は最低レベルを示していても良い。
【0036】
結合ステージ215は、後述するように、周波数帯域の各々についてのスペクトル重みを結合するよう構成される。信号処理部210は結合済みスペクトル重みを周波数帯域の各々に適用するよう構成される。例えば、スペクトル重み217及び/又は219、又はそれらスペクトル重みから導出された値は、処理済み周波数帯域においては、オーディオ信号102のスペクトル値と乗算されていてもよい。
【0037】
コントローラ230は、信号処理部210から、スペクトル重みファクタ217及び219、又はそれらに対して関連している情報を受信するよう構成される。導出された情報は、例えばテーブルのインデックス番号、スペクトル重みファクタと関連しているインデックス番号であってもよい。コントローラは、オーディオ信号102をコヒーレント信号部分、すなわち過渡処理ステージ211及び/又は調性処理ステージ213によって低減又は除去されていないか、又は一部分だけが低減又は除去された部分、に関して強化するよう構成される。簡単に言えば、導出ユニット234は信号処理部210によって低減され又は除去されない部分を増幅してもよい。
【0038】
導出ユニット234は、zで示された、オーディオ信号102から導出された信号236を提供するよう構成される。結合部240は、信号z(236)を受信するよう構成される。デコリレータ120は、sで示された処理済み信号212を信号処理部210から受信するよう構成される。
【0039】
結合部240は、デコリレート済み信号r1及びr2を重みファクタ(スケーリングファクタ)a及びbと結合して、第1チャネル信号y1と第2チャネル信号y2とを取得するよう構成される。信号チャネルy1とy2は出力信号242へと結合されてもよく、又は別個に出力されてもよい。
【0040】
換言すれば、出力信号242は、(典型的に)相関信号z(236)とデコリレート済み信号s(それぞれr1又はr2)との結合である。デコリレート済み信号は、2つのステップ、すなわち過渡及び調性信号成分の第1抑圧(低減し又は除去する)ステップと第2デコリレーションステップとで得られる。過渡信号成分及び調性信号成分の抑圧は、スペクトル重み付けによって実施される。信号は、周波数ドメインでフレーム毎に処理される。スペクトル重みは、各周波数bin(周波数帯域)及び各時間フレームについて計算される。そして、オーディオ信号は全帯域で処理され、すなわち考慮されるべき全ての部分が処理される。
【0041】
処理の入力信号は単一チャネル信号x(102)であってもよく、出力信号は2チャネル信号y=[y1,y2]であってもよく、ここで、添字は第1チャネルと第2チャネル、例えばステレオ信号の左チャネルと右チャネルとを示している。出力信号yは、次式のように、スケーリングファクタa及びbを用いて、2チャネル信号r=[r1,r2]を単一チャネル信号zと線形結合することによって計算されてもよい。
y1 = a x z + b x r1 (1)
y2 = a x z + b x r2 (2)
ここで、xは式(1)及び(2)における乗算演算子を示している。
【0042】
式(1)及び(2)は定性的に解釈されるべきであり、信号z、r1及びr2の配分が重みファクタを変化させることによって制御され得る(変化され得る)ことを示している。例えば、逆数で割り算するような逆演算を形成することによって、異なる演算によっても同等又は等価結果が得られ得る。代替的に又は追加的に、2チャネル信号yを得るために、スケーリングファクタa及びb、及び/又はy1及び/又はy2のための値を含む、参照テーブルが使用されてもよい。
【0043】
スケーリングファクタa及び/又はbは、相関の知覚強度と共に単調減少するように計算されてもよい。知覚強度について予測されたスカラー値が、スケーリングファクタを制御するために使用されてもよい。
【0044】
r1とr2とを含むデコリレート済み信号rは、2つのステップで計算され得る。第1は、過渡及び調性信号成分の減衰が信号sをもたらす。第2は、信号sのデコリレーションが実行されてもよい。
【0045】
例えば、スペクトル重み付けによって、過渡信号成分及び調性信号成分の減衰が実行される。その信号は周波数ドメインでフレーム毎に処理される。スペクトル重みは、各周波数bin及び時間フレームについて計算される。減衰の目的は2つある。
1.過渡又は調性信号成分は典型的に、所謂前景信号に属し、ステレオイメージ内でのそれらの位置は、中心に位置づけられることが多い。
2.強い過渡信号成分を有する信号のデコリレーションは、知覚可能なアーチファクトをもたらす。強い調性信号成分を有する信号のデコリレーションもまた、調性成分(即ち正弦波)が周波数調性された場合、即ち少なくとも、周波数変調が、あまりに低速で行われ、信号スペクトルの(非ハーモニックでもあり得る)倍音の濃縮化に起因して、周波数の変化として知覚されてしまい音色の変化として知覚されない場合には、知覚可能なアーチファクトをもたらす。
【0046】
相関信号zは、過渡及び調性信号成分を強化する処理を適用すること、例えば信号sを計算するための抑制の逆を定性的に適用することによって、取得されてもよい。代替的に、例えば未処理の入力信号は、そのまま使用され得る。zは2チャネル信号である場合もあり得ることに注意すべきである。実際、多くの記憶メディア(例えばコンパクトディスク)は、信号がモノラルであっても2チャネルを使用している。2つの同じチャネルを持つ1つの信号は、「デュアルモノラル」と呼ばれる。入力信号zがステレオ信号であり、かつこの処理の目的は立体音響効果を増大させるため、という場合もあり得る。
【0047】
デコリレーションの知覚強度は、特許文献1に記載のように、ラウドネスの計算モデルを用いた後期残響の予測される知覚強度と同様に予測されてもよい。
【0048】
図3は、デコリレーションの予測される知覚強度のレベルに基づいた、スケーリングファクタ(重みファクタ)a及びbの計算を示す例示的テーブルを示している。
【0049】
例えば、デコリレーションの知覚強度は、その値が、知覚されるデコリレーションの低いレベル、又はデコリレーションのないレベルを示す0の値と、デコリレーションの高いレベルを示す10の値との間で変化し得るスカラー値を含むように予測され得る。そのレベルは、例えばリスナーテスト又は予測的シミュレーションに基づいて決定されてもよい。代替的に、デコリレーションのレベルの値は最小値と最大値との間の範囲を含んでも良い。デコリレーションの知覚レベルの値は、最小値及び最大値を超える値を受け入れるよう構成されてもよい。好ましくは、相関の知覚されるレベルは、少なくとも3つの異なる値を受け入れてもよく、より好ましくは少なくとも7つの異なる値を受け入れても良い。
【0050】
知覚されるデコリレーションの決定されたレベルに基づいて適用されるべき重みファクタa及びbは、メモリに格納されてもよく、コントローラ130又は230によってアクセス可能である。知覚されるデコリレーションのレベルの増大に伴って、結合部によってオーディオ信号又はそれから導出された信号と乗算されるべきスケーリングファクタaも、また増大してもよい。知覚されるデコリレーションの増大したレベルは、「信号は既に(部分的に)デコリレートされている」と解釈されてもよく、その結果、デコリレーションのレベルが増大するに伴って、オーディオ信号又はそれから導出された信号が、出力信号142又は242の中でより高い割合を含むようにしてもよい。デコリレーションのレベルの増大に伴って、重みファクタbは減少するよう構成され、すなわち信号処理部の出力信号に基づいてデコリレータによって生成された信号r1及びr2が、結合部140又は240で結合されるときに、より少ない割合を含んでもよい。、
【0051】
重みファクタaは、少なくとも1(最小値)と大きくても9(最大値)のスカラー値を含むように示され、重みファクタbは、最小値2と最大値8とを含む範囲内のスカラー値を含むように示されているが、両重みファクタa及びbは、最小値と、最大値と、好ましくは最小値及び最大値の間の少なくとも1つの値とを含むある範囲内の値を含んでも良い。代替的に、図3に示された重みファクタa及びbの値に対して代替的に、かつ知覚されるデコリレータのレベル増大に伴って、重みファクタaは線形的に増大してもよい。代替的又は追加的に、重みファクタbは知覚されるデコリレーションのレベル増大に伴って線形的に減少してもよい。加えて、知覚されるデコリレーションのレベルに関し、あるフレームについて決定された重みファクタa及びbの合計が一定又はほぼ一定であってもよい。例えば、知覚されるデコリレーションのレベル増大に伴って、重みファクタaが0から10まで増大し、かつ重みファクタbが値10から0へ減少してもよい。両方の重みファクタが線形的に、例えばステップサイズ1毎に減少又は増大する場合には、重みファクタa及びbの合計が、知覚されるデコリレーションの各レベルについて、10の値を持っても良い。適用されるべき重みファクタa及びbは、シミュレーション又は実験により決定され得る。
【0052】
図4aは、例えばコントローラ130及び/又は230によって実行され得る方法400の一部の概略フローチャートを示す。コントローラは、ステップ410におけるデコリレーションの知覚レベルについての尺度を、例えば図3に示されたようにスカラー値において決定するよう構成される。ステップ420では、コントローラは決定された尺度と閾値とを比較するよう構成される。その尺度が閾値より高い場合には、コントローラは、ステップ430において重みファクタa及び/又はbを修正し又は適応させるよう構成される。ステップ430では、コントローラは、重みファクタbを減少させるか、重みファクタaを増大させるか、又はa及びbについての基準値に対して重みファクタbを減少させかつ重みファクタaを増大させるよう構成される。閾値は、例えばオーディオ信号の周波数帯域内で変化してもよい。例えば、閾値は、低レベルのデコリレーションが望ましいか又は目標とされることを指示する顕著な音源信号を含む周波数帯域については、低い値を含んでもよい。代替的又は追加的に、閾値は、高レベルのデコリレーションが望ましいことを示す顕著でない音源信号を含む周波数帯域については、高い値を含んでもよい。
【0053】
顕著でない音源信号を含む周波数帯域の相関を増大させ、顕著な音源信号を含む周波数帯域についてのデコリレーションを制限することを目的としてもよい。閾値は、例えば重みファクタa及び/又はbが受け入れ可能な値範囲の20%、50%又は70%であってもよい。例えば図3に関して言えば、閾値は、1つの顕著な音源信号を含む1周波数フレームについて、7より低くてもよく、5より低くてもよく、又は3より低くてもよい。デコリレーションの知覚レベルが高すぎる場合には、次に実行ステップ430によって、デコリレーションの知覚レベルは低減されてもよい。重みファクタa及びbは、単独で又は同時に変化してもよい。図3に示された表は、例えば重みファクタa及び/又はbの初期値であって、コントローラによって適応させられるべき初期値を含む値であってもよい。
【0054】
図4bは、ある場合を示す方法400の追加ステップの概略フローチャートを示し、その場合とは、デコリレーションの知覚レベルについての尺度(ステップ410で決定される)が閾値と比較され、その尺度が閾値より低い場合(ステップ440)である。コントローラは、デコリレーションの知覚レベルを向上させ、それにより尺度が少なくとも閾値である値を含むように、重みファクタbを増大させるか、重みファクタaを減少させるか、又はa及びbについての基準値に対して重みファクタbを増大させかつ重みファクタaを減少させるよう構成される。
【0055】
代替的又は追加的に、コントローラは、2チャネルオーディオ信号におけるデコリレーションの知覚レベルが目標値付近のある範囲内を維持するように、重みファクタa及びbをスケールするよう構成されてもよい。その目標値は、例えば閾値であってもよく、その閾値は、重みファクタ及び/又はスペクトル重みが決定されるべき周波数帯域に含まれた信号のタイプに基づいて変化してもよい。目標値付近の範囲は、目標値の±20%、±10%又は±5%まで延びていても良い。これにより、知覚されるデコリレーションがほぼ目標値(閾値)にあるとき、重みファクタの適応を停止させることが可能になる。
【0056】
図5は、デコリレータ120としても作動し得るデコリレータ520の概略ブロック図を示す。デコリレータ520は、第1のデコリレートフィルタ522と第2のデコリレートフィルタ524とを含む。第1のデコリレートフィルタ526と第2のデコリレートフィルタ528とは、共に処理済み信号s(512)を例えば信号処理部から受信するよう構成される。デコリレータ520は、処理済み信号512と第1のデコリレートフィルタ526の出力信号523とを結合して第1のデコリレート済み信号522(r1)を取得し、第2のデコリレートフィルタ528の出力信号525を結合して第2のデコリレート済み信号524(r2)を取得するよう構成される。信号の結合にあたって、デコリレータ520は、信号をインパルス応答を用いて畳み込んでもよく、及び/又はスペクトル値を実数値及び/又は虚数値と乗算してもよい。代替的又は追加的に、除算、合計、差分などのような他の操作が実行されてもよい。
【0057】
デコリレートフィルタ526及び528は、処理済み信号512を残響又は遅延させるよう構成されてもよい。デコリレートフィルタ526及び528は、有限インパルス応答(FIR)及び/又は無限インパルス応答(IIR)フィルタを備えていてもよい。例えば、デコリレートフィルタ526及び528は、処理済み信号512を、時間及び/又は周波数に亘って減衰し又は指数関数的に減衰するノイズ信号から得られたインパルス応答を用いて畳み込んでもよい。このことは、信号512に関して残響を含むデコリレート済み信号523及び/又は525を生成するのを可能にする。残響信号の残響時間は、例えば50msと1000msとの間の値、80msと500msとの間の値、及び/又は120msと200msとの間の値を有しても良い。残響時間は、インパルスによって励起された後、残響パワーが小さな値、例えば初期パワーより60dB下方まで減衰するのにかかる持続時間として理解することができる。好ましくは、デコリレートフィルタ526及び528はIIRフィルタを含む。このことは、少なくとも幾つかのフィルタ係数をゼロに設定し、この(ゼロの)フィルタ係数の計算を省くことができるようにした場合に、計算量を削減できる。任意選択的には、デコリレートフィルタは2個以上のフィルタを含むことができ、これらフィルタは直列及び/又は並列に接続される。
【0058】
換言すると、残響はデコリレーション効果を含む。デコリレータは、デコリレートするだけでなく、鳴り響き(sonority)を僅かに変化させてもよい。技術的に、残響は、そのインパルス応答を考慮することにより特徴付けられ得る線形時間不変(LTI)システムとみなすことができる。インパルス応答の長さは、残響についてRT60と呼ばれることが多い。これは、インパルス応答が60dBに低下するまでの時間のことである。残響は、1秒又は数秒までの長さを有してもよい。デコリレータは、残響と同様な構造を含む一方で、インパルス応答の長さに影響を及ぼすパラメータの異なる設定を含むように構成されてもよい。
【0059】
図6aは、少なくとも1つの過渡(短時間)信号部分を含むオーディオ信号602aのスペクトルを有する説明図を示す。過渡信号部分は広帯域スペクトルをもたらす。このスペクトルは、周波数fに亘って振幅S(f)として示され、そのスペクトルは多数の周波数帯域b1−3へとサブ分割されている。過渡信号部分は、1つ以上の周波数帯域b1−3において決定されてもよい。
【0060】
図6bは、調性成分を含むオーディオ信号602bの概略スペクトルを示す。スペクトルの実例は、7つの周波数帯域fb1−7の中で示されている。周波数帯域fb4は、周波数帯域fb1−7の中央に配置され、他の周波数帯域fb1−3及びfb5−7と比べたとき、最大振幅S(f)を有する。中心周波数(周波数帯域fb5)に対して距離が増加するに伴い、周波数帯域は、振幅が漸次減少する調性信号の倍音の繰り返しを含む。信号処理部は、例えば振幅S(f)を評価することによって、調性成分を決定するよう構成されてもよい。調性成分の増大する振幅S(f)は、信号処理部によって、減少するスペクトル重みファクタと組み合わされても良い。そして、ある周波数帯域内での過渡成分及び/又は調性成分の割合が高くなる程、信号処理部の処理済み信号におけるその周波数帯域の寄与が低下してもよい。例えば、周波数帯域fb4のスペクトル重みは、ゼロの値又はゼロ近傍の値、又は周波数帯域fb4が低い割合を持つと考えられることを示す他の値を含んでもよい。
【0061】
図7aは、信号処理部110及び/又は210のような信号処理部によって実行される可能な過渡処理211を示す概略表である。信号処理部は、周波数ドメインにおけるオーディオ信号の表現の考慮されるべき各周波数帯域において、過渡成分の割合などの量を決定するよう構成される。評価は、少なくとも1つの最小値(例えば1)と大きくても最大値(例えば15)とを含む開始値を持つ過渡成分の量の決定を含んでも良く、ここで高い値は周波数帯域内で過渡成分の量が多いことを示してもよい。周波数帯域での過渡成分の量が多くなればなる程、例えばスペクトル重み217についての個々のスペクトル重みは小さくなってもよい。例えば、スペクトル重みは、0のような少なくとも1つの最小値と、大きくても1のような1つの最大値の値を含んでもよい。スペクトル重みは、最小値と最大値との間の複数の値を含んでもよく、ここでスペクトル重みは、考慮ファクタ及び/又は後の処理のための周波数帯域の考慮ファクタを示してもよい。例えば、スペクトル重み0は周波数帯域が完全に減衰されるべきであることを示してもよい。代替的に、他のスケーリング範囲が実装されてもよく、つまり図7aに示された表が、過渡周波数帯域である周波数帯域の評価及び又はスペクトル重みのステップサイズの評価に関し、他のステップサイズを有する表へとスケールされ及び/又は変換されてもよい。スペクトル重みは連続的に変化することさえ可能である。
【0062】
図7bは、例えば調性処理ステージ213によって実行され得る可能な調性処理を示す具体的な表である。周波数帯域内での調性成分の量が多くなればなる程、個々のスペクトル重み219は小さくなってもよい。例えば、周波数帯域での調性成分の量は、最小値1と最大値8との間でスケールされてもよく、その最小値は周波数帯域が調性成分を全く又は殆ど含まないことを示す。最大値は、その周波数帯域が多量の調性成分を含むことを示してもよい。スペクトル重み219のような個々のスペクトル重みも、また最小値と最大値とを含んでもよい。例えば0.1のような最小値は、周波数帯域がほぼ完全に又は完全に減衰されたことを示してもよい。最大値は、周波数帯域が殆ど減衰されないか、又は全く減衰されないことを示してもよい。スペクトル重み219は、最小値と、最大値と、好ましくは最小値と最大値との間の少なくとも1つの値とを含む、複数の値の1つを受け入れても良い。代替的に、調性周波数帯域の割合が減少するにつれて、スペクトル重みが考慮ファクタとなるように、スペクトル重みも減少してもよい。
【0063】
信号処理部は、信号処理部210について説明したように、過渡処理に関するスペクトル重み及び/又は調性処理に関するスペクトル重みと、周波数帯域のスペクトル値とを結合してもよい。例えば、処理済み周波数帯域について、スペクトル重み217及び/又は219の平均値が結合ステージ215によって決定されてもよい。周波数帯域のスペクトル重みは、オーディオ信号102のスペクトル値と結合、例えば乗算され得る。代替的に、結合ステージは、両方のスペクトル重み217及び219を比較し、及び/又は両方のうち低いスペクトル重み又は高いスペクトル重みを選択し、その選択されたスペクトル重みをスペクトル値と結合するよう構成されてもよい。代替的に、スペクトル重みは異なる方法、例えば合計、差分、商又は係数として、結合されてもよい。
【0064】
オーディオ信号の特性は、時間とともに変化し得る。例えば、ラジオ放送信号はまずスピーチ信号(顕著な音源信号)及びその後の音楽信号(非顕著な音源信号)又はその逆を含んでも良い。また、スピーチ信号及び/又は音楽信号内で変動が起こり得る。このことは、スペクトル重み及び/又は重みファクタの素早い変化をもたらす可能性がある。信号処理部及び/又はコントローラは、例えば2つの信号フレーム間の最大ステップサイズを制限することによって、2つのフレーム間での変動を減少させ又は制限するように、スペクトル重み及び/又は重みファクタを追加的に適応させるよう構成されてもよい。オーディオ信号の1つ以上のフレームは、ある時間期間で合計されてもよく、ここで信号処理部及び/又はコントローラは以前の時間期間、例えば1つ以上の以前のフレームのスペクトル重み及び/又は重みファクタを比較し、現実の時間期間について決定されたスペクトル重み及び/又は重みファクタとの差がある閾値を越えたかどうかを決定するよう構成されてもよい。その閾値は例えばリスナーにとって困惑させる効果をもたらす値を表現してもよい。信号処理部及び/又はコントローラは、そのような困惑させる効果が減少し又は防止されるように変動を制限するよう構成されてもよい。代替的に、以前と現実の時間期間のスペクトル重み及び/又は重みファクタを比較するために、差に代えて、比のような他の数学的表現が決定されてもよい。
【0065】
換言すれば、各周波数帯域には、調性及び/又は過渡特性の量を含む特徴が割り当てられている。
【0066】
図8は、オーディオ信号102を強化するための装置801を含む、音響強化システム800の概略ブロック図を示す。音響強化システム800は、オーディオ信号を受信し、オーディオ信号を装置801へと提供する信号入力106を備える。音響強化システム800は、2つのラウドスピーカ808a、808bを有する。ラウドスピーカ808aは信号y1を受信するよう構成される。ラウドスピーカ808bは信号y2を受信するよう構成され、ラウドスピーカ808a,808bによって信号y1、y2が音波又は音信号へと変換されてもよい。信号入力106は、有線又はラジオアンテナのような無線の信号入力であってもよい。装置801は、例えば装置100及び/又は200であってもよい。
【0067】
相関信号zは、過渡及び調性成分を強化する(定性的に信号sを計算するための抑圧の逆)処理を適用することによって取得される。結合部によって実行された結合は、
y(y1/y2)=スケーリングファクタ1・z+スケーリングファクタ2・スケーリングファクタ(r1/r2)
によって線形的に表現されてもよい。これらスケーリングファクタはデコリレーションの知覚強度を予測することによって取得され得る。
【0068】
代替的に、信号y1及びy2は、ラウドスピーカ808a及び/又は808bによって受信される前にさらに処理されてもよい。例えば、信号y1及び/又はy2は、それら信号y1及び/又はy2を処理することによって導出された1つ又は複数の信号がラウドスピーカ808a及び/又は808bへ提供されるように、増幅、イコライズなどの処理が施されても良い。
【0069】
オーディオ信号へ付加された人工的残響は、その残響のレベルが可聴であるが、あまり大き過ぎ(集中的で)ないように実装されてもよい。可聴又は困惑させるレベルは、試験及び/又はシミュレーションで決定されてもよい。高すぎるレベルは、明確性を損ない、パーカッションの音が時間的にスラー付けされるので、良好には聞こえない。目標レベルは入力信号に依存してもよい。もし入力信号が少量の過渡を含み、周波数変調を伴う少量のトーンを含む場合には、残響は低い程度で可聴であり、レベルは増大してもよい。デコリレータは同様な活動原理を含み得るので、デコリレーションについても同じことが当てはまる。ゆえに、デコリレータの最適な強度は、入力信号に基づいても良い。この計算は修正されたパラメータを用いて同様に行われ得る。信号処理部及びコントローラにおいて実行されるデコリレーションは、構造的に同じであるが異なるセットのパラメータを用いて作動される、2つのデコリレータを用いて実行されてもよい。デコリレーション処理部は、2チャネルステレオ信号だけでなく、3つ以上の信号を持つチャネルに適用されてもよい。デコリレーションは、全ての信号ペアのデコリレーションのための全ての値までを含み得る相関計量を用いて定量化されてもよい。
【0070】
本発明方法の知見は、空間キューを生成し、その空間キューを、処理済み信号がステレオの感覚を創造するように、信号に導入することである。その処理は、以下の基準に従って設計されているとみなされても良い。
1.高い強度(又はラウドネスレベル)を持つ直接音源は、中央に定位される。これらは顕著な直接音源、例えば音楽レコーディングにおけるシンガー又はラウド楽器である。
2.環境音は拡散性として知覚される。
3.拡散性は、低い強度(即ち低いラウドネスレベル)を持つ直接音源に対し、環境音に対する場合よりも多分低い程度で付加される。
4.処理は自然に聞こえ、かつアーチファクトを導入すべきではない。
【0071】
設計基準は、オーディオレコーディングの製造における慣例及びステレオ信号の信号特性と一貫している。
1.顕著な直接音は、典型的に中央にパンされ、つまりそれら直接音は無視できるICLD及びICTDとミックスされる。これら信号は高いコヒーレンスを示す。
2.環境音は低いコヒーレンスを示す。
3.残響環境において多数の直接音、例えばオーケストラを伴うオペラシンガーをレコーディングする場合、各直接音の拡散性の量はマイクロホンまでの距離に関係している。なぜなら、直接信号と残響との比は、マイクロホンまでの距離が増大するにつれて減少するからである。従って、低い強度で捕捉された音は、典型的には顕著な直接音に比べて低いコヒーレント(又はその逆、より拡散性)である。
【0072】
この処理は、デコリレーションによって空間情報を生成する。換言すれば、入力信号のICCが減少する。特殊なケースにおいてのみ、デコリレーションは完全に非相関な信号をもたらす。典型的には、部分的デコリレーションが達成されるのが望ましい。この処理は方向性キュー(directional cues)(すなわちICLD及びICTD)を操作しない。この制限の理由は、直接音源のオリジナル又は意図された位置に関する情報が全く利用できないからである。
【0073】
上述の設計基準によれば、デコリレーションは、次のようにミックス信号内の信号成分へ選択的に適用される。
1.設計基準1で説明したような信号成分に対しては、デコリレーションが全く適用されないか、又は少しだけ適用される。
2.設計基準2で説明したような信号成分に対しては、デコリレーションが適用される。このデコリレーションは、処理の出力で取得されるミックス信号の知覚幅に対して大いに貢献する。
設計基準3で説明したような信号成分に対しては、デコリレーションが適用されるが、設計基準2で説明された信号成分に比べてより少ない程度だけ適用される。
【0074】
この処理は、前景信号xaと背景信号xbとの付加的混合、即ちx=xa+xbとして入力信号xを表す、信号モデルによって示される。前景信号は設計基準1で説明された全ての信号成分を含む。背景信号は設計基準2で説明された全ての信号成分を含む。設計基準3で説明された全ての信号成分は、分離された信号成分のいずれか1つに排他的に割り当てられる訳ではなく、前景信号及び背景信号内に部分的に含まれる。
【0075】
出力信号yは、y=ya+ybとして計算され、ここでybはxbをデコリレートすることにより計算され、ya=xaであるか、又は代替的にyaはxaをデコリレートすることにより計算される。換言すると、背景信号はデコリレーションを用いて処理され、前景信号はデコリレーションを用いて処理されないか、又はデコリレーションを用いて処理されるが、背景信号に比べて低い程度だけデコリレートされる。図9bはこの処理を示す。
【0076】
この手法は、上述の設計基準に合致するだけではない。さらなる利点は、デコリレーションを適用した際に前景信号は所望でない音調(coloration)を招く傾向があり得るが、背景はそのような可聴アーチファクトを導入することなくデコリレートされ得るということである。従って、上述の処理は、混合における全ての信号成分に対してデコリレーションを均等に適用する処理に比べて、良好な音品質を獲得する。
【0077】
これまで入力信号は、個別に処理され、出力信号へと結合される「前景信号」と「背景信号」として示された2つの信号に分解されてきたが、同様な理論的根拠をもたらす等価な方法も可能であることに注意すべきである。
【0078】
信号分解は、オーディオ信号、すなわち時間にわたる波形形状を呈する信号を出力する処理である必要は必ずしもない。その代わり、信号分解は、デコリレーション処理への入力として使用可能で、その後で波形信号へ変換可能な他の信号表現をもたらすことができる。そのような信号表現の実例は、短時間フーリエ変換によって計算されるスペクトログラムである。一般に、逆転可能な線形変換は適切な信号表現をもたらす。
【0079】
代替的に、空間キューは、入力信号xに基づいてステレオ情報を生成することによって、先行する信号分解を用いずに選択的に生成される。導出されたステレオ情報は、時間変化しかつ周波数選択的な値で重み付けられ、入力信号と結合される。時間変化しかつ周波数選択的な重みファクタは、背景信号が優勢な時間−周波数領域において大きく、前景信号が優勢な時間−周波数領域おいて小さくなるように、計算される。このことは、背景信号と前景信号との時間変化しかつ周波数選択的な比を定量化することによって、定式化できる。重みファクタは背景対前景比から計算されることができ、例えば単調増加する関数を用いて計算され得る。
【0080】
代替的に、先行する信号分解は3つ以上の分離信号をもたらすことができる。
【0081】
図9a及び9bは、例えば信号の1つにおける調性/過渡部分を抑圧(低減又は除去)することによる、前景信号と背景信号への入力信号の分離を示す。
【0082】
入力信号が前景信号と背景信号との加算的混合であるとの仮定を用いて、簡素な処理が導出される。図9bはこれを示す。ここで、分離1は前景信号又は背景信号のいずれか一方の分離を示す。前景信号が分離された場合、出力1は前景信号を示し、出力2は背景信号である。背景信号が分離された場合には、出力1は背景信号を示し、出力2は前景信号である。
【0083】
信号分離方法の設計及び構成は、前景信号及び背景信号は互いに異なる特性を持つという知見に基づいている。しかしながら、理想的な分離とのずれ、すなわち顕著な直接音源の信号成分の背景信号への漏れ、又は環境信号成分の前景信号への漏れは、受け入れ可能であり、最終的結果の音質を必ずしも損なうものではない。
【0084】
時間的特性に関し、一般に前景信号のサブバンド信号の時間的包絡は、背景信号のサブバンド信号の時間的包絡に比べてより強い振幅変調を示すことが観測され得る。対照的に、背景信号は典型的に前景信号に比べて過渡的ではない(又は衝撃的ではない、すなわちより持続的である)。
【0085】
スペクトル特性に関しては、一般に前景信号はより調性的であり得ることが観測され得る。対照的に、背景信号は典型的に前景信号に比べて雑音が多い。
【0086】
位相特性に関しては、一般に背景信号の位相情報は前景信号の位相情報よりノイズが多いことが観測され得る。前景信号の多くの実例についての位相情報は、複数の周波数帯域に亘って調和している。
【0087】
顕著な音源信号に類似した特性を示す信号は、背景信号よりも前景信号である場合が多い。顕著な音源信号は、調性信号成分とノイズ信号成分との間の遷移によって特徴付けられ、ここで調性信号成分は時間変化するフィルタリング済みのパルス列であり、その基本周波数は強く変調されている。スペクトル処理はこれら特性に基づいていてもよく、分解はスペクトル減算(spectral subtraction)又はスペクトル重み付けによって実行されてもよい。
【0088】
スペクトル減算は、例えば周波数ドメインで実行され、入力信号の連続的な(多分オーバラップしている)部分の短いフレームのスペクトルが処理される。基本原理は、所望信号と干渉信号との加算的混合であると仮定される入力信号の振幅スペクトルから、干渉信号の振幅スペクトルの推定を減算することである。前景信号の分離に関し、所望信号は前景信号であり、干渉信号は背景信号である。背景信号の分離に関して、所望信号は背景信号であり、干渉信号は前景信号である。
【0089】
スペクトル重み付け(又は短時間スペクトル減衰)は同じ原理に基づいており、入力信号表現をスケーリングすることによって干渉信号を減衰させる。周波数帯域インデックスnと時間インデックスkとを持つ多数の周波数帯域X(n,k)を有する信号表現を導出するために、入力信号(x)は、短時間フーリエ変換(STFT)、フィルタバンク又は他の手段を用いて変換される。入力信号の周波数ドメイン表現は、サブバンド信号が時間可変重みG(n,k)を用いてスケールされるように処理される。
Y(n,k)=G(n,k)X(n,k) (3)
【0090】
重み付け演算Y(n,k)の結果は、出力信号の周波数ドメイン表現である。出力時間信号y(t)は、周波数ドメイン変換の逆処理、例えば逆STFTを用いて計算される。図10はスペクトル重み付けを示す。
【0091】
デコリレーションは1つ又は複数の同一の入力信号の処理を指しており、互いに(部分的又は完全に)非相関であるが、入力信号と同様に聞こえる複数の出力信号が得られる処理のことである。2つの信号の相関は、相関係数又は正規化済み相関係数を用いて測定され得る。2つの信号X1(n,k)及びX2(n,k)についての周波数帯域における正規化済み相関係数NCCは、次のように定義される。
ここで、Φ1,1及びΦ2,2はそれぞれ第1と第2の入力信号の自動パワースペクトル密度(PSD)であり、Φ1,2はクロスPSDであり、次式で与えられる。
ここで、ε{・}は期待値演算であり、X*はXの複素共役を示す。
【0092】
デコリレーションは、デコリレートフィルタを使用することによって、又は周波数ドメインで入力信号の位相を操作することによって実行され得る。デコリレートフィルタの実例は全域通過フィルタであり、その定義によって、入力信号のスペクトルの大きさを変更せず、それらの位相だけを変更するフィルタである。これにより、出力信号が入力信号と同様に聞こえるという意味で、出力信号を中立的に発音させることになる。他の実例は、フィルタ又は線形時間不変システムとしてもモデル化され得る残響(reverberation)である。一般に、デコリレーションは、入力信号の複数の遅延済み(及び恐らくフィルタリング済み)のコピーを、入力信号に付加することによって達成され得る。数学用語で言えば、人工的残響は入力信号の残響(又はデコリレーション)システムのインパルス応答を用いた畳み込みとして実行され得る。遅延時間が短い。具体的には50msより短い場合には、信号の遅延済みコピーは別の信号(エコー)として知覚されない。エコー感をもたらす遅延時間の厳密な値がエコー閾値であり、その値はスペクトル的及び時間的信号特性に依存する。例えば、それは、インパルス状の音の場合の方が、包絡がゆっくりと上昇する音の場合よりも小さい。当面の課題については、エコー閾値よりも短い遅延時間を使用するのが望ましい。
【0093】
一般的な場合、デコリレーションは、N個のチャネルを有する入力信号を処理し、出力のチャネル信号が相互に(部分的又は完全に)非相関であるM個のチャネルを有する信号を出力する。
【0094】
上述の方法についての多くの適用シナリオにおいて、入力信号を定常的に処理することは適切でなく、入力信号の分析に基づいて処理を活性化し、かつその影響力を制御することが適切である。その一例がFM放送であり、そこでは、伝送障害がステレオ音響情報の完全な又は部分的な欠損をもたらす場合にのみ上述の方法が適用される。他の例は、音楽録音のコレクションの聴取であり、そこでは録音の一部がモノラル音であり、他の一部がステレオ録音である。両方のシナリオは、オーディオ信号のステレオ音響情報の時間変化する量によって特徴付けられる。このことは、ステレオ音響強化の活性化と影響力との制御、つまりアルゴリズムの制御を必要とする。
【0095】
その制御は、オーディオ信号の空間キュー(ICLD,ICTD,ICC又はその一部)を推定するオーディオ信号の分析によって実行される。その推定は周波数選択的な手法で実行され得る。推定の出力は、処理の活性化又は影響力を制御するスカラー値へマップされる。信号分析は入力信号、又は代替的に、分離された背景信号を処理する。
【0096】
処理の影響力を制御するための単純な方法は、入力信号の(恐らくスケール済みの)コピーを、ステレオ音響強化の(恐らくスケール済みの)出力信号に対して付加することにより、その影響力を減少させることである。制御信号を時間に亘ってローパスフィルタリングすることによって、制御の円滑な遷移が達成される。
【0097】
図9aは、前景/背景処理に従う、入力信号102の処理900の概略ブロック図を示す。入力信号102は、前景信号914が処理され得るように分離される。ステップ916では、前景信号914に対してデコリレーションが実行される。ステップ916は任意である。代替的に、前景信号914は処理されなくてもよく、すなわちデコリレートされなくてもよい。処理経路920のステップ922では、背景信号924が抽出され、即ちフィルタリングされる。ステップ926では、背景信号924がデコリレートされる。ステップ904では、デコリレート済み前景信号918(代替的に前景信号914)とデコリレート済み背景信号928とがミックスされ、出力信号906が得られる。換言すれば、図9aはステレオ音響強化のブロック図を示す。前景信号と背景信号とが計算される。背景信号はデコリレーションによって処理される。任意選択的に、前景信号はデコリレーションによって処理され得るが、背景信号に比べてより低い程度にデコリレートされてもよい。処理済み信号は出力信号へと結合される。
【0098】
図9bは、入力信号102の分離ステップ912'を含む処理900'の概略ブロック図を示す。分離ステップ912'は上述と同様に実行されてもよい。前景信号(出力信号1)914'は分離ステップ912'によって得られる。背景信号928'は、前景信号914'と、重みファクタa及び/又はbと、入力信号102とを、結合ステップ926'において結合することにより得られる。背景信号(出力信号2)928'は結合ステップ926'によって得られる。
【0099】
図10は、スペクトル重みを、例えば入力信号であり得る入力信号1002に対して適用するよう構成された装置1000の概略ブロック図を示す。時間ドメインの入力信号1002は、周波数ドメインのサブバンドX(1,k)...X(n,k)に分割される。フィルタバンク1004は、入力信号1002をN個のサブバンドへと分割するよう構成されている。装置1000はN個の計算分枝を有し、それら分枝は、時点(フレ―ム)kにおけるN個のサブバンドの各々について、過渡スペクトル重み及び/又は調性スペクトル重みG(1,k)...G(n,k)を決定するよう構成されている。スペクトル重みG(1,k)...G(n,k)はサブバンド信号X(1,k)...X(n,k)と結合され、重み付きサブバンド信号Y(1,k)...Y(n,k)が得られる。装置1000は、重み付きサブバンド信号を結合して、時間ドメインにおいてY(t)として示されるフィルタリング済み出力信号1012を得るよう構成された、逆処理ユニット1008を有している。装置1000は、信号処理部110又は210の一部であってもよい。換言すれば、図10は、入力信号の前景信号及び背景信号への分解を示す。
【0100】
図11は、オーディオ信号を強化するための方法1100の概略フローチャートを示す。この方法1100は、オーディオ信号を処理して、処理済み信号の過渡部分及び調性部分を低減又は除去する第1ステップ1110を含む。この方法1100は、処理済み信号から第1のデコリレート済み信号と第2のデコリレート済み信号とを生成する、第2ステップ1120を含む。方法1100のステップ1130では、第1のデコリレート済み信号と第2のデコリレート済み信号とオーディオ信号又はこのオーディオ信号からコヒーレンス強化により導出された信号とが、時間変化する重みファクタを用いて重み付き結合され、2チャネルオーディオ信号が得られる。方法1110のステップ1140では、オーディオ信号を分析することにより、オーディオ信号の異なる部分が異なる重みファクタによって乗算され、2チャネルオーディオ信号がデコリレーションの時間変化度を持つように、時間変化重みファクタが制御される。
【0101】
以下では、ラウドネス尺度に基づいてデコリレーションの知覚レベルを決定する可能性について詳細を説明する。以下に説明するように、ラウドネス尺度は残響の知覚レベルを予測可能にし得る。上述のように、残響はまたデコリレーションと呼ぶことができ、残響の知覚レベルもデコリレーションの知覚レベルとみなし得る。デコリレーションに関し、残響は1秒より短くてもよく、例えば500msより短く、さらに250msより短く、又は200msより短くてもよい。
【0102】
図12は、直接信号成分又はドライ信号成分1201と、残響信号成分102とを含むミックス信号における残響の知覚レベルについての尺度を決定する装置を示す。ドライ信号成分1201と残響信号成分1202とはラウドネスモデル処理部1204へと入力される。ラウドネスモデル処理部は、ドライ信号成分1201と残響信号成分1202とを受信するよう構成され、さらに図13aに示す知覚フィルタステージ1204aとそれに後続するラウドネス計算部1204bとを備えている。ラウドネスモデル処理部は、その出力において第1のラウドネス尺度1206と第2のラウドネス尺度1208とを生成する。両ラウドネス尺度は、第1のラウドネス尺度1206と第2のラウドネス尺度1208とを結合する結合部1210へと入力され、残響の知覚レベルのための尺度1212を最終的に得る。実装に依存して、知覚レベル1212の尺度は、異なる信号フレームについて知覚されるラウドネスについての少なくとも2つの尺度の平均値に基づいて残響の知覚レベルを予測する、予測部1214へと入力され得る。しかしながら、図12における予測部1214は任意であり、知覚レベルについての尺度をある値範囲又はSone−unitレンジなどのユニット範囲へと実際に変換してもよく、Sone−unitレンジとはラウドネスに関係する定量的値を与えるために有効である。しかしながら、予測部1214によって処理されない知覚レベル1212の尺度の他の利用もまた、例えばコントローラにおいて使用可能であり、コントローラは予測部1214によって出力された値に必ずしも依拠する必要はなく、知覚レベル1212についての尺度を、直接形式で、又は好ましくはある種の平滑化された形式で、直接的に処理することができ、その平滑化された形式では、残響信号又はゲインファクタgのレベル補正が強く変化しないようにするため、時間に亘る平滑化が好ましい。
【0103】
特に、知覚フィルタステージは、直接信号成分と残響信号成分又はミックス信号成分とをフィルタリングするよう構成され、ここで知覚フィルタステージは、人間などの対象物の聴覚的知覚メカニズムをモデル化し、フィルタリング済み直接信号とフィルタリング済み残響信号又はフィルタリング済みミックス信号とを得るよう構成される。実装に依存して、知覚フィルタステージは並列的に作動する2つのフィルタを含んでもよく、又は、1つの且つ同じフィルタが3つの信号、つまり残響信号とミックス信号と直接信号との各々をフィルタリングするために実際に使用され得るので、記憶部と単一フィルタとを含んでもよい。この文脈において、図13aでは聴覚的知覚メカニズムをモデル化するn個のフィルタを示したが、実際には2個のフィルタで十分であろうし、又は、残響信号成分とミックス信号成分と直接信号成分とを含むグループから2つの信号をフィルタリングする、単一のフィルタでも十分であろう。
【0104】
ラウドネス計算部1204b又はラウドネス推定部は、フィルタリング済み直接信号を使用して第1のラウドネス関連尺度を推定し、フィルタリング済み残響信号又はフィルタリング済みミックス信号を使用して第2のラウドネス関連尺度を推定するよう構成され、ここでミックス信号は、直接信号成分と残響信号成分との重畳から導出される。
【0105】
図13cは残響の知覚レベルについての尺度を計算する4つの好ましいモードを示す。一構成は部分的なラウドネスに依拠しており、ここで直接信号成分xと残響信号成分rの両方はラウドネスモデル処理部で使用されるが、第1尺度EST1を決定するために、残響信号は励振として使用され、直接信号はノイズとして使用される。第2ラウドネス尺度EST2を決定するためには状況が変化し、直接信号成分は励振として使用され、残響信号成分はノイズとして使用される。次に、結合部によって生成された補正の知覚レベルについての尺度は、第1ラウドネス尺度EST1と第2ラウドネス尺度EST2との間の差である。
【0106】
しかしながら、図13cの横欄2、3、4で示される他の演算上効率的な実施形態がさらに存在する。これらのより演算上効率的な尺度は、ミックス信号mと直接信号xと残響信号rとを含む3つの信号の総ラウドネスを計算することに依拠している。図13cの最終の縦欄に示された結合部により実行される所要の計算に依存して、第1ラウドネス尺度EST1はミックス信号又は残響信号の総ラウドネスであり、第2ラウドネス尺度EST2は直接信号成分x又はミックス信号成分mの総ラウドネスであり、ここで実際の結合は図13cに示す通りである。
【0107】
図14は、図12,13a,13b,13cに関する幾つかの態様において既に説明してきたラウドネスモデル処理部の構成を示す。特に、知覚フィルタステージ1204aは各分枝について時間−周波数変換器1401を含み、ここで、図3の実施形態では、x[k]が励振を示し、n[k]はノイズを示す。時間/周波数変換済み信号は耳伝達関数ブロック1402(同じ結果をもたらすもののより高い演算付加となるが、耳伝達関数は代替的に、時間−周波数変換器より先に計算され得ることに注意されたい)へ送られ、このブロック1402の出力は、励振パターン計算ブロック1404へ入力され、その後、時間的統合ブロック1406へと送られる。次に、ブロック1408において、この実施形態では特定のラウドネスが計算され、ここでブロック1408は図13aのラウドネス計算ブロック1204bに対応する。次に、ブロック1410において周波数にわたる統合が実行され、ブロック1410は、図13bにおいて1204c、1204dとして既に記載した加算部に対応する。ブロック1410は、励振とノイズの第1セットについての第1尺度を生成し、励振とノイズの第2セットについての第2尺度を生成することに注目すべきである。特に、図13bを考慮した場合には、第1尺度を計算するための励振は残響信号であり、ノイズは直接信号であり、一方で第2尺度を計算する場合には、状況が変化し、励振は直接信号成分であり、ノイズは残響信号成分である。それ故、2つの異なるラウドネス尺度を生成するためには、図14に示す手順が2度実行されている。しかしながら、異なるように作動するブロック1408においてのみ計算上の変更が行われるので、ブロック1401〜1406のブロックによって示されるステップは1度だけ実行されればよく、時間的統合ブロック1406の結果は、図13cに示す構成について第1の推定済みラウドネスと第2の推定済みラウドネスとを計算するために、記憶され得る。他の実施形態については、ブロック1408は、各分枝のための個別ブロック「総ラウドネス計算」によって置き換え可能であり、この構成においては、1つの信号が励振と考えられるか又はノイズであると考えられるかは無意味である点に留意すべきである。
【0108】
これまで幾つかの態様を装置の文脈で説明してきたが、これら態様は対応する方法の記述も表現していることは明白であり、そこではブロック又は装置は方法ステップ又は方法ステップの特徴に対応している。同様に、方法ステップの文脈で説明された態様はまた、対応するブロック又は項目の説明、又は対応する装置の特徴を表現している。
【0109】
ある実装要件にもよるが、ハードウエア又はソフトウエアにおいて構成可能である。この構成は、その中に格納された電子的に読み取り可能な制御信号を有し、本発明の各方法が実行されるようにプログラム可能なコンピュータシステムと協働する(又は協働可能な)、例えばフレキシブルディスク,DVD,CD,ROM,PROM,EPROM,EEPROM又はフラッシュメモリなどの、デジタル記憶媒体を使用して実行され得る。
【0110】
本発明に従う幾つかの上述した方法の1つを実行するようプログラム可能なコンピュータシステムと協働可能で、電子的に読み取り可能な制御信号を有するデータキャリアを含む。
【0111】
一般的に、本発明の実施例は、プログラムコードを有するコンピュータプログラム製品として実装することができ、そのプログラムコードは当該コンピュータプログラム製品がコンピュータ上で作動するときに、本発明の方法の一つを実行するよう作動可能である。そのプログラムコードは、例えば機械読み取り可能なキャリアに格納されていても良い。
【0112】
本発明の他の上述した方法の1つを実行するための、機械読み取り可能なキャリアに格納されたコンピュータプログラムを含む。
【0113】
換言すれば、本発明方法の一そのコンピュータプログラムがコンピュータ上で作動するときに、上述した方法の1つを実行するためのプログラムコードを有するコンピュータプログラムである。
【0114】
本発明方法の他の上述した方法の1つを実行するために、その上に記録されたコンピュータプログラムを含む、データキャリア(又はデジタル記憶媒体、又はコンピュータ読み取り可能な媒体)である。
【0115】
本発明方法の他の上述した方法の1つを実行するためのコンピュータプログラムを表現するデータストリーム又は信号列である。そのデータストリーム又は信号列は、例えばインターネットのようなデータ通信接続を介して伝送されるよう構成されても良い。
【0116】
他の上述した方法の1つを実行するように構成又は適応された、例えばコンピュータ又はプログラム可能な論理デバイスのような処理手段を含む。
【0117】
他の上述した方法の1つを実行するためのコンピュータプログラムがインストールされたコンピュータを含む。
【0118】
上述した本発明の原理を単に例示的に示したに過ぎない。本明細書に記載した構成及び詳細について修正及び変更が可能であることは、当業者にとって明らかである。従って、本発明は、添付した特許請求の範囲によってのみ限定されるべきであり、本明細書に実施形態の説明及び解説の目的で提示した具体的詳細によって限定されるものではない。
【図1】
【図2】
【図3】
【図4a】
【図4b】
【図5】
【図6a】
【図6b】
【図7a】
【図7b】
【図8】
【図9a】
【図9b】
【図10】
【図11】
【図12】
【図13a】
【図13b】
【図13c】
【図14】
【手続補正書】
【提出日】2017年2月21日
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
オーディオ信号(102)を強化するための装置(100;200)であって、
前記オーディオ信号(102)を処理して、処理済み信号(112;212)の過渡部分及び調性部分を低減又は除去する信号処理部(110;210)と、
前記処理済み信号(112;212)から第1のデコリレート済み信号と第2のデコリレート済み信号(124;r2)とを生成するデコリレータ(120;520)と、
前記第1のデコリレート済み信号(122;522、r1)と第2のデコリレート済み信号(124;r2)と前記オーディオ信号又は前記オーディオ信号(102)からコヒーレンス強化によって導出された信号とを、時間可変重みファクタ(a,b)を使用して重み付き結合し、2チャネルオーディオ信号(142;242)を取得する結合部(140;240)と、
前記オーディオ信号の異なる部分(fb1−fb7)が異なる重みファクタ(a,b)によって乗算され、前記2チャネルオーディオ信号(142;242)がデコリレーションの時間変化度を有するように、前記オーディオ信号(102)を分析することによって前記時間可変重みファクタ(a,b)を制御するためのコントローラ(130;230)と、
を備える装置。
【請求項2】
請求項1に記載の装置において、前記コントローラ(130;230)は、高度のデコリレーションを許可する前記オーディオ信号(102)の部分(fb1−fb7)について前記重みファクタ(a,b)を増大させ、かつ低度のデコリレーションを許可する前記オーディオ信号(102)の部分(fb1−fb7)について前記重みファクタ(a,b)を減少させるよう構成された、装置。
【請求項3】
請求項1又は2に記載の装置において、前記コントローラ(130;230)は、前記2チャネルオーディオ信号(142;242)におけるデコリレーションの知覚レベルが目標値付近のある範囲内であって、前記目標値の±20%までの範囲内にとどまるように、前記重みファクタ(a,b)をスケールするよう構成されている、装置。
【請求項4】
請求項3に記載の装置において、前記コントローラ(130;230)は、前記オーディオ信号(102)を残響させることにより残響オーディオ信号を取得し、かつ前記残響オーディオ信号と前記オーディオ信号とを比較することにより比較結果を取得して、前記目標値を決定するよう構成されており、前記コントローラは前記デコリレーションの知覚レベル(232)を前記比較結果に基づいて決定するよう構成されている、装置。
【請求項5】
請求項1乃至4のいずれか1項に記載の装置において、前記コントローラ(130;230)は、前記オーディオ信号(102)における顕著な音源信号部分を決定し、前記顕著な音源信号部分についての前記重みファクタ(a,b)を、顕著な音源信号部分を含まないオーディオ信号(102)の部分に比べて減少させるよう構成され、
前記コントローラ(130;230)は、前記オーディオ信号(102)における非顕著な音源信号部分を決定し、前記非顕著な音源信号部分についての前記重みファクタ(a,b)を、非顕著な音源信号部分を含まないオーディオ信号(102)の部分に比べて増大させるよう構成されている、装置。
【請求項6】
請求項1乃至5のいずれか1項に記載の装置において、前記コントローラ(130;230)は、
前記オーディオ信号(102)の一部分から試験デコリレート済み信号を生成し、
前記オーディオ信号の前記一部分及び前記試験デコリレート済み信号からデコリレーションの知覚レベルについての尺度を導出し、かつ
前記デコリレーションの知覚レベルについての尺度から前記重みファクタ(a,b)を導出するよう構成されている、装置。
【請求項7】
請求項6に記載の装置において、前記デコリレータ(120;520)は、第1の残響時間を有する前記オーディオ信号(102)の残響に基づいて前記第1のデコリレート済み信号(122;r1)を生成するよう構成され、前記コントローラ(130;230)は、第2の残響時間を有する前記オーディオ信号(102)の残響に基づいて前記試験デコリレート済み信号を生成するよう構成され、前記第2の残響時間は前記第1の残響時間より短い、装置。
【請求項8】
請求項1乃至7のいずれか1項に記載の装置において、
前記コントローラ(130;230)は、前記重みファクタ(a,b)がそれぞれ可能値の第1多数の1つの値を含むように前記重みファクタ(a,b)を制御するよう構成され、前記第1多数は最小値と最大値と前記最小値と最大値との間の値とを含む少なくとも3つの値を含み、
前記信号処理部(110;210)は、前記オーディオ信号(102)の一部分を周波数ドメインでそれぞれ表現している周波数帯域の第2多数についてのスペクトル重み(217、219)を決定するよう構成され、前記スペクトル重み(217、219)はそれぞれ可能値の第3多数の1つの値を含み、前記第3多数は最小値と最大値と前記最小値と最大値との間の値とを含む少なくとも3つの値を含む、装置。
【請求項9】
請求項1乃至8のいずれか1項に記載の装置において、前記信号処理部(110;210)は、
前記オーディオ信号(102)が周波数ドメインへ変換され、かつ周波数帯域(fb1−fb7)の第2多数が前記オーディオ信号(102)の一部分の第2多数を周波数ドメインで表すように、前記オーディオ信号(102)を処理するよう構成され、
各周波数帯域(fb1−fb7)について、前記オーディオ信号(102)の過渡処理(211)についての処理値を表す第1スペクトル重み(217)を決定するよう構成され、
各周波数帯域(fb1−fb7)について、前記オーディオ信号(102)の調性処理(213)についての処理値を表す第2スペクトル重み(219)を決定するよう構成され、
各周波数帯域(fb1−fb7)について、前記第1スペクトル重み(217)と前記第2スペクトル重み(219)との少なくとも1つを、前記周波数帯域(fb1−fb7)における前記オーディオ信号(102)のスペクトル値へ適用するよう構成され、
前記第1スペクトル重み(217)及び前記第2スペクトル重み(219)はそれぞれ、可能値の第3多数の1つの値を含み、前記第3多数は最小値と最大値と前記最小値と最大値との間の値とを含む少なくとも3つの値を含む、装置。
【請求項10】
請求項9に記載の装置において、前記信号処理部(110;210)は、前記周波数帯域(fb1−fb7)の第2多数のそれぞれについて、前記周波数帯域(fb1−fb7)について決定された前記第1スペクトル重み(217)と前記第2スペクトル重み(219)とを比較するよう構成され、前記2つの値の1つが小さな値を含むかどうかを決定し、前記小さな値を含む前記スペクトル重み(217、219)を、前記周波数帯域(fb1−fb7)における前記オーディオ信号(102)のスペクトル値に適用するよう構成される、装置。
【請求項11】
請求項1乃至10のいずれか1項に記載の装置において、前記デコリレータ(520)は、前記処理済みオーディオ信号(512、s)をフィルタリングして前記第1のデコリレート済み信号(522、r1)を取得するよう構成された第1のデコリレートフィルタ(526)と、前記処理済みオーディオ信号(512、s)をフィルタリングして第2のデコリレート済み信号(524、r2)を取得するよう構成された第2のデコリレートフィルタ(528)とを含み、前記結合部(140;240)は、前記第1のデコリレート済み信号(522、r1)と前記第2のデコリレート済み信号(524、r2)と前記オーディオ信号(102)又はこのオーディオ信号(102)から導出された信号(136;236)とを重み付き結合して、前記2チャネルオーディオ信号(142;242)を取得するよう構成された、装置。
【請求項12】
請求項1乃至11のいずれか1項に記載の装置において、周波数帯域(fb1−fb7)の第2多数について、前記周波数帯域(fb1−fb7)の各々が、前記周波数ドメインにおいて表されたある期間内での前記オーディオ信号(102)の一部分を含み、
前記コントローラ(130;230)は、前記重みファクタ(a,b)がそれぞれ可能値の第1多数の1つの値を含むように前記重みファクタ(a,b)を制御するよう構成され、前記第1多数は最小値と最大値と前記最小値と最大値との間の値とを含む少なくとも3つの値を含み、
前記コントローラ(130;230)は、現実の期間について決定された重みファクタ(a,b)の1つと以前の期間について決定された重みファクタ(a,b)の1つとに基づいた比又は差が、閾値より大きいか又は等しい場合に、前記比又は差の値が減少するように、現実の期間について決定された前記重みファクタ(a,b)を適応させるよう構成され、
前記信号処理部(110;210)は、それぞれが可能値の第3多数の1つの値を含む、前記スペクトル重み(217;219)を決定するよう構成され、前記第3多数は最小値と最大値と前記最小値と最大値との間の値とを含む少なくとも3つの値を含む、装置。
【請求項13】
請求項1乃至12のいずれか1項に記載のオーディオ信号を強化するための装置(801)と、
前記オーディオ信号(102)を受信するよう構成された信号入力(106)と、
前記2チャネルオーディオ信号(y1/y2)又は前記2チャネルオーディオ信号(y1/y2)から導出された信号を受信し、前記2チャネルオーディオ信号(y1/y2)又は前記2チャネルオーディオ信号(y1/y2)から導出された信号から音響信号を生成するよう構成された、少なくとも2個のラウドスピーカ(808a,808b)と、
を備えた音響強化システム(800)。
【請求項14】
オーディオ信号(102)を強化するための方法(1100)であって、
前記オーディオ信号(102)を処理して、処理済み信号(112;212)の過渡部分及び調性部分を低減又は除去するステップ(1110)と、
前記処理済み信号(112;212)から第1のデコリレート済み信号(122、r1)と第2のデコリレート済み信号(124;r2)とを生成するステップ(1120)と、
前記第1のデコリレート済み信号(122、r1)と第2のデコリレート済み信号(124、r2)と前記オーディオ信号(102)又は前記オーディオ信号(102)からコヒーレンス強化によって導出された信号(136;236)とを、時間可変重みファクタ(a,b)を使用して重み付き結合し、2チャネルオーディオ信号(142;242)を取得するステップ(1130)と、
前記オーディオ信号の異なる部分が異なる重みファクタ(a,b)によって乗算され、前記2チャネルオーディオ信号(142;242)がデコリレーションの時間変化度を有するように、前記オーディオ信号(102)を分析することによって前記時間可変重みファクタ(a,b)を制御するステップ(1140)と、
を備える方法。
【請求項15】
コンピュータ上で実行されたとき、請求項14に記載のオーディオ信号を強化する方法を実行するための、プログラムコードを有するコンピュータプログラム。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】0015
【補正方法】変更
【補正の内容】
【0015】
さらなる実施形態によれば、オーディオ信号を強化する装置は、オーディオ信号を処理して、処理済み信号の過渡部分及び調性部分を低減又は除去する信号処理部を含む。この装置はさらに、デコリレータと結合部とコントローラとを含む。デコリレータは、処理済み信号から第1のデコリレート済み信号と第2のデコリレート済み信号とを生成するよう構成される。結合部は、第1のデコリレート済み信号と、第2のデコリレート済み信号と、オーディオ信号又はこのオーディオ信号からコヒーレンス強化によって導出された信号とを、時間可変重みファクタを使用して重み付き結合し、2チャネルオーディオ信号を取得するよう構成される。コントローラは、オーディオ信号を分析することによって時間可変重みファクタを制御するよう構成され、それによりオーディオ信号の異なる部分が異なる重みファクタによって乗算され、かつ2チャネルオーディオ信号がデコリレーションの時間変化度を有するようになる。このことは、モノラル信号又はモノラル信号と同様な信号(例えばデュアルモノラル又はマルチモノラル信号)をステレオチャネル・オーディオ信号として知覚させることを可能にする。
【手続補正3】
【補正対象書類名】明細書
【補正対象項目名】0025
【補正方法】変更
【補正の内容】
【0025】
図1は、オーディオ信号102を強化するための装置100の概略ブロック図を示す。オーディオ信号102は、周波数ドメイン又は時間ドメインで表現される、例えばモノラル信号、又はデュアルモノラル信号のようなモノラル状信号である。装置100は信号処理部110、デコリレータ120、コントローラ130、及び結合部140を備えている。信号処理部110は、オーディオ信号102を受信し、オーディオ信号102を処理して処理済み信号112を得るよう構成され、その処理によりオーディオ信号102に比べて処理済み信号112の過渡部分及び調性部分を低減し又は除去するよう構成されている。
【手続補正4】
【補正対象書類名】明細書
【補正対象項目名】0028
【補正方法】変更
【補正の内容】
【0028】
結合部は、第1のデコリレート済み信号122と第2のデコリレート済み信号124とオーディオ信号102から導出された信号136とを、重みファクタa,bを使用して重み付き結合するよう構成されている。オーディオ信号102から導出された信号136は、コントローラ130によって提供されてもよい。したがって、コントローラ130は任意選択の導出ユニット134を備えていてもより。導出ユニット134は、オーディオ信号102の部分を、例えば適応、修正、又は強化するよう構成されてもよい。特に、導出ユニット134は、信号処理部110によって減衰され、低減され又は除去されているオーディオ信号102の部分を増幅するよう構成されてもよい。
【手続補正5】
【補正対象書類名】明細書
【補正対象項目名】0056
【補正方法】変更
【補正の内容】
【0056】
図5は、デコリレータ120としても作動し得るデコリレータ520の概略ブロック図を示す。デコリレータ520は、第1のデコリレートフィルタ526と第2のデコリレートフィルタ528とを含む。第1のデコリレートフィルタ526と第2のデコリレートフィルタ528とは、共に処理済み信号s(512)を例えば信号処理部から受信するよう構成される。デコリレータ520は、処理済み信号512と第1のデコリレートフィルタ526の出力信号523とを結合して第1のデコリレート済み信号522(r1)を取得し、処理済み信号512と第2のデコリレートフィルタ528の出力信号525とを結合して第2のデコリレート済み信号524(r2)を取得するよう構成される。信号の結合にあたって、デコリレータ520は、信号をインパルス応答を用いて畳み込んでもよく、及び/又はスペクトル値を実数値及び/又は虚数値と乗算してもよい。代替的又は追加的に、除算、合計、差分などのような他の操作が実行されてもよい。
【手続補正6】
【補正対象書類名】明細書
【補正対象項目名】0059
【補正方法】変更
【補正の内容】
【0059】
図6aは、少なくとも1つの過渡(短時間)信号部分を含むオーディオ信号602aのスペクトルを有する説明図を示す。過渡信号部分は広帯域スペクトルをもたらす。このスペクトルは、周波数fに亘って振幅S(f)として示され、そのスペクトルは多数の周波数帯域fb1−3へとサブ分割されている。過渡信号部分は、1つ以上の周波数帯域fb1−3において決定されてもよい。
【手続補正7】
【補正対象書類名】明細書
【補正対象項目名】0060
【補正方法】変更
【補正の内容】
【0060】
図6bは、調性成分を含むオーディオ信号602bの概略スペクトルを示す。スペクトルの実例は、7つの周波数帯域fb1−7の中で示されている。周波数帯域fb4は、周波数帯域fb1−7の中央に配置され、他の周波数帯域fb1−3及びfb5−7と比べたとき、最大振幅S(f)を有する。中心周波数(周波数帯域fb4)に対して距離が増加するに伴い、周波数帯域は、振幅が漸次減少する調性信号の倍音の繰り返しを含む。信号処理部は、例えば振幅S(f)を評価することによって、調性成分を決定するよう構成されてもよい。調性成分の増大する振幅S(f)は、信号処理部によって、減少するスペクトル重みファクタと組み合わされても良い。そして、ある周波数帯域内での過渡成分及び/又は調性成分の割合が高くなる程、信号処理部の処理済み信号におけるその周波数帯域の寄与が低下してもよい。例えば、周波数帯域fb4のスペクトル重みは、ゼロの値又はゼロ近傍の値、又は周波数帯域fb4が低い割合を持つと考えられることを示す他の値を含んでもよい。
【手続補正8】
【補正対象書類名】明細書
【補正対象項目名】0073
【補正方法】変更
【補正の内容】
【0073】
上述の設計基準によれば、デコリレーションは、次のようにミックス信号内の信号成分へ選択的に適用される。
1.設計基準1で説明したような信号成分に対しては、デコリレーションが全く適用されないか、又は少しだけ適用される。
2.設計基準2で説明したような信号成分に対しては、デコリレーションが適用される。このデコリレーションは、処理の出力で取得されるミックス信号の知覚幅に対して大いに貢献する。
3.設計基準3で説明したような信号成分に対しては、デコリレーションが適用されるが、設計基準2で説明された信号成分に比べてより少ない程度だけ適用される。
【手続補正9】
【補正対象書類名】明細書
【補正対象項目名】0082
【補正方法】変更
【補正の内容】
【0082】
入力信号が前景信号と背景信号との加算的混合であるとの仮定を用いて、簡素な処理が導出される。図9bはこれを示す。ここで、分離912’は前景信号又は背景信号のいずれか一方の分離を示す。前景信号が分離された場合、出力1は前景信号を示し、出力2は背景信号である。背景信号が分離された場合には、出力1は背景信号を示し、出力2は前景信号である。
【手続補正10】
【補正対象書類名】明細書
【補正対象項目名】0107
【補正方法】変更
【補正の内容】
【0107】
図14は、図12,13a,13b,13cに関する幾つかの態様において既に説明してきたラウドネスモデル処理部の構成を示す。特に、知覚フィルタステージ1204aは各分枝について時間−周波数変換器1401を含み、ここで、図14の実施形態では、x[k]が励振を示し、n[k]はノイズを示す。時間/周波数変換済み信号は耳伝達関数ブロック1402(同じ結果をもたらすもののより高い演算付加となるが、耳伝達関数は代替的に、時間−周波数変換器より先に計算され得ることに注意されたい)へ送られ、このブロック1402の出力は、励振パターン計算ブロック1404へ入力され、その後、時間的統合ブロック1406へと送られる。次に、ブロック1408において、この実施形態では特定のラウドネスが計算され、ここでブロック1408は図13aのラウドネス計算ブロック1204bに対応する。次に、ブロック1410において周波数にわたる統合が実行され、ブロック1410は、図13bにおいて1204c、1204dとして既に記載した加算部に対応する。ブロック1410は、励振とノイズの第1セットについての第1尺度を生成し、励振とノイズの第2セットについての第2尺度を生成することに注目すべきである。特に、図13bを考慮した場合には、第1尺度を計算するための励振は残響信号であり、ノイズは直接信号であり、一方で第2尺度を計算する場合には、状況が変化し、励振は直接信号成分であり、ノイズは残響信号成分である。それ故、2つの異なるラウドネス尺度を生成するためには、図14に示す手順が2度実行されている。しかしながら、異なるように作動するブロック1408においてのみ計算上の変更が行われるので、ブロック1401〜1406のブロックによって示されるステップは1度だけ実行されればよく、時間的統合ブロック1406の結果は、図13cに示す構成について第1の推定済みラウドネスと第2の推定済みラウドネスとを計算するために、記憶され得る。他の実施形態については、ブロック1408は、各分枝のための個別ブロック「総ラウドネス計算」によって置き換え可能であり、この構成においては、1つの信号が励振と考えられるか又はノイズであると考えられるかは無意味である点に留意すべきである。
【手続補正11】
【補正対象書類名】図面
【補正対象項目名】図7b
【補正方法】変更
【補正の内容】
【図7b】
【国際調査報告】

[広告欄]

ログインすれば広告は減ります

ログインすれば広告は減ります