知財求人 - 知財ポータルサイト「IP Force」
▶ インスティテュート フューア ランドファンクテクニック ゲーエムベーハーの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】5720897
(24)【登録日】2015年4月3日
(45)【発行日】2015年5月20日
(54)【発明の名称】下位音声形式を生成する方法及び装置
(51)【国際特許分類】
H04S 5/02 20060101AFI20150430BHJP
【ＦＩ】
H04S5/02 H
【請求項の数】3
【全頁数】11
(21)【出願番号】特願2011-535047(P2011-535047)
(86)(22)【出願日】2009年11月7日
(65)【公表番号】特表2012-508489(P2012-508489A)
(43)【公表日】2012年4月5日
(86)【国際出願番号】EP2009007971
(87)【国際公開番号】WO2010054780
(87)【国際公開日】20100520
【審査請求日】2012年8月27日
(31)【優先権主張番号】102008056704.3
(32)【優先日】2008年11月11日
(33)【優先権主張国】DE
(73)【特許権者】
【識別番号】511109386
【氏名又は名称】インスティテュート フューア ランドファンクテクニック ゲーエムベーハー
(74)【代理人】
【識別番号】110000877
【氏名又は名称】龍華国際特許業務法人
(72)【発明者】
【氏名】ストール、ガーハード
(72)【発明者】
【氏名】グロー、ジェンズ
(72)【発明者】
【氏名】リンク、マーティン
(72)【発明者】
【氏名】デイグモラー、ジョーグ
(72)【発明者】
【氏名】ルノウ、バーンフライド
(72)【発明者】
【氏名】ケイル、マーティン
【審査官】
菊池 充
(56)【参考文献】
【文献】
特表２００８−５０９６００（ＪＰ，Ａ）
【文献】
特開平１０−０５１２５３（ＪＰ，Ａ）
【文献】
特表２００８−５０５３６８（ＪＰ，Ａ）
【文献】
特開２００８−２２６３１５（ＪＰ，Ａ）
(58)【調査した分野】（Int.Cl.，ＤＢ名）
Ｈ０４Ｓ １／００− ７／００
(57)【特許請求の範囲】
【請求項1】
多チャネル音声形式から下位互換性のある音声形式を生成する方法であって、左チャネル（Ｌ）、右チャネル（Ｒ）、中央チャネル（Ｃ）、後方左チャネル（Ｌｓ）、および、後方右チャネル（Ｒｓ）という複数の音声チャネルの５チャネル音声形式から右チャネル（ＲＩＲＴ）および左チャネル（ＬＩＲＴ）の２チャネル音声形式を生成する方法であって、
前記中央チャネル（Ｃ）のレベルを低減し、
レベルを低減させた前記中央チャネル（Ｃ）のレベルを前記左チャネル（Ｌ）のレベルに分配して、前記左チャネル（Ｌ）を生成して、第１の加算結果信号（Ｌ`）を生成し、
前記後方左チャネル（Ｌｓ）のレベルを低減して、
レベルを低減させた前記後方左チャネル（Ｌｓ）のレベルを前記第１の加算結果信号のレベルに分配して、前記２チャネル音声形式の前記左チャネル（ＬＩＲＴ）に対応する第３の加算結果信号を生成し、
レベルを低減させた前記中央チャネル（Ｃ）のレベルを前記右チャネル（Ｒ）のレベルに分配して第２の加算結果信号（Ｒ`）を生成し、
前記後方右チャネル（Ｒｓ）のレベルを低減し、
レベルを低減させた前記後方右チャネル（Ｒｓ）のレベルを前記第２の加算結果信号のレベルに分配して、前記２チャネル音声形式の前記右チャネル（ＲＩＲＴ）に対応する第４の加算結果信号を生成する方法であって、
前記第１の加算結果信号（Ｌ`）および前記第２の加算結果信号（Ｒ`）を生成する場合に、重複時間ウィンドウのスペクトル値をそれぞれ、前記左チャネル（Ｌ）および前記右チャネル（Ｒ）のｋ個のサンプルで動的に修正し、
前記第３の加算結果信号および前記第４の加算結果信号を生成する場合に、重複時間ウィンドウのスペクトル値をそれぞれ、前記第１の加算結果信号（Ｌ`）および前記第２の加算結果信号（Ｒ`）のｋ個のサンプルで動的に修正し、
前記左チャネル（Ｌ）および前記右チャネル（Ｒ）の前記スペクトル値をそれぞれ動的に修正する前に、
|ｌ（ｋ）|は、前記左チャネル（Ｌ）のスペクトル値の絶対値であり、
|ｃ（ｋ）|は、前記中央チャネル（Ｃ）のスペクトル値の絶対値であり、
|ｒ（ｋ）|は、前記右チャネル（Ｒ）のスペクトル値の絶対値である場合に、
で表される所望値（Ａｓｏｌｌ，ｌ、Ａｓｏｌｌ，r）と前記スペクトル値のそれぞれの合計とを比較し、
前記第１の加算結果信号（Ｌ`）および前記第２の加算結果信号（Ｒ`）の前記スペクトル値をそれぞれ動的に修正する前に、
|ｒ`（ｋ）|は、前記第２の加算結果信号（Ｒ`）のスペクトル値の絶対値であり、
|ｌ`（ｋ）|は、前記第１の加算結果信号（Ｌ`）のスペクトル値の絶対値であり、
|ｒｓ（ｋ）|は、前記後方右チャネル（Ｒｓ）のスペクトル値の絶対値であり、
|ｌｓ（ｋ）|は、前記後方左チャネル（Ｌｓ）のスペクトル値の絶対値である場合に、
で表される所望値（Ａｓｏｌｌ，ｌｓ、Ａｓｏｌｌ，ｒｓ）と前記スペクトル値のそれぞれの合計とを比較し、
前記所望値（Ａｓｏｌｌ，ｌ、Ａｓｏｌｌ，r、Ａｓｏｌｌ，ｌｓ、Ａｓｏｌｌ，ｒｓ）の方が小さい場合には、
にしたがって、周波数成分を加算して、加算結果を低減し、
Ａｓｏｌｌ（ｋ）が、Ａｓｏｌｌ，ｌ、Ａｓｏｌｌ，r、Ａｓｏｌｌ，ｌｓ、およびＡｓｏｌｌ，ｒｓのｋ番目の値であり、
前記所望値（Ａｓｏｌｌ，ｌ、Ａｓｏｌｌ，r、Ａｓｏｌｌ，ｌｓ、Ａｓｏｌｌ，ｒｓ）の方が大きい場合には、修正すべき信号のスペクトル値を乗数（ｍ（ｋ）、ｍ（ｋ）∈
）で乗算し、
前記乗数（ｍ（ｋ）、ｍ（ｋ）∈
）は、
Ａ（ｋ）が、ｒ`、ｌ`、ｌおよびｒのｋ番目のスペクトル値であり、Ａ（ｋ）∈
であり、
であり、
Ｂ（ｋ）が、ｒｓ、ｌｓ、および、ｃのｋ番目のスペクトル値であり、Ｂ（ｋ）∈
であり、ｗは、−１＜ｗ＜１の範囲内のスケーリング係数であり、ｗ∈
である場合に、
で表される
方法。
前記中央チャネル（Ｃ）のレベルを低減し、
レベルを低減させた前記中央チャネル（Ｃ）のレベルを前記左チャネル（Ｌ）のレベルに分配して、前記左チャネル（Ｌ）を生成して、第１の加算結果信号（Ｌ`）を生成し、
前記後方左チャネル（Ｌｓ）のレベルを低減して、
レベルを低減させた前記後方左チャネル（Ｌｓ）のレベルを前記第１の加算結果信号のレベルに分配して、前記２チャネル音声形式の前記左チャネル（ＬＩＲＴ）に対応する第３の加算結果信号を生成し、
レベルを低減させた前記中央チャネル（Ｃ）のレベルを前記右チャネル（Ｒ）のレベルに分配して第２の加算結果信号（Ｒ`）を生成し、
前記後方右チャネル（Ｒｓ）のレベルを低減し、
レベルを低減させた前記後方右チャネル（Ｒｓ）のレベルを前記第２の加算結果信号のレベルに分配して、前記２チャネル音声形式の前記右チャネル（ＲＩＲＴ）に対応する第４の加算結果信号を生成する方法であって、
前記第１の加算結果信号（Ｌ`）および前記第２の加算結果信号（Ｒ`）を生成する場合に、重複時間ウィンドウのスペクトル値をそれぞれ、前記左チャネル（Ｌ）および前記右チャネル（Ｒ）のｋ個のサンプルで動的に修正し、
前記第３の加算結果信号および前記第４の加算結果信号を生成する場合に、重複時間ウィンドウのスペクトル値をそれぞれ、前記第１の加算結果信号（Ｌ`）および前記第２の加算結果信号（Ｒ`）のｋ個のサンプルで動的に修正し、
前記左チャネル（Ｌ）および前記右チャネル（Ｒ）の前記スペクトル値をそれぞれ動的に修正する前に、
|ｌ（ｋ）|は、前記左チャネル（Ｌ）のスペクトル値の絶対値であり、
|ｃ（ｋ）|は、前記中央チャネル（Ｃ）のスペクトル値の絶対値であり、
|ｒ（ｋ）|は、前記右チャネル（Ｒ）のスペクトル値の絶対値である場合に、
【数9】
前記第１の加算結果信号（Ｌ`）および前記第２の加算結果信号（Ｒ`）の前記スペクトル値をそれぞれ動的に修正する前に、
|ｒ`（ｋ）|は、前記第２の加算結果信号（Ｒ`）のスペクトル値の絶対値であり、
|ｌ`（ｋ）|は、前記第１の加算結果信号（Ｌ`）のスペクトル値の絶対値であり、
|ｒｓ（ｋ）|は、前記後方右チャネル（Ｒｓ）のスペクトル値の絶対値であり、
|ｌｓ（ｋ）|は、前記後方左チャネル（Ｌｓ）のスペクトル値の絶対値である場合に、
【数10】
前記所望値（Ａｓｏｌｌ，ｌ、Ａｓｏｌｌ，r、Ａｓｏｌｌ，ｌｓ、Ａｓｏｌｌ，ｒｓ）の方が小さい場合には、
【数11】
Ａｓｏｌｌ（ｋ）が、Ａｓｏｌｌ，ｌ、Ａｓｏｌｌ，r、Ａｓｏｌｌ，ｌｓ、およびＡｓｏｌｌ，ｒｓのｋ番目の値であり、
前記所望値（Ａｓｏｌｌ，ｌ、Ａｓｏｌｌ，r、Ａｓｏｌｌ，ｌｓ、Ａｓｏｌｌ，ｒｓ）の方が大きい場合には、修正すべき信号のスペクトル値を乗数（ｍ（ｋ）、ｍ（ｋ）∈
前記乗数（ｍ（ｋ）、ｍ（ｋ）∈
Ａ（ｋ）が、ｒ`、ｌ`、ｌおよびｒのｋ番目のスペクトル値であり、Ａ（ｋ）∈
【数12】
Ｂ（ｋ）が、ｒｓ、ｌｓ、および、ｃのｋ番目のスペクトル値であり、Ｂ（ｋ）∈
【数13】
方法。
【請求項2】
ｎは、０．１よりも大きく、０．４よりも小さい請求項１に記載の方法。
【請求項3】
請求項１または２に記載の方法を実行する手段を備える、下位互換性のある音声形式を生成する装置。
【発明の詳細な説明】
【背景技術】
【0001】
一般的な放送、インターネットおよび家庭向けに今日では、２チャネルのステレオおよびモノラルに加えて５．１チャネルステレオ等の音声形式が定着している。利用可能な音声形式が増えるにつれて、音声生成技術分野の発展努力が増している。特に、複数の音声形式を録音および合成するための取り組みが為されている。また、再生装置は、異なる装置間で必ず互換性が必要であるので、音声チャネルの数に関わらずどの音声形式でも再生可能に構成する必要がある。
【0002】
音声チャネル数が最大である音声形式を送信することが可能性の１つとして挙げられる。必要であれば、受信側で信号を自動的に変換して音声チャネル数を減らした音声形式を生成する（自動ダウンミックス）。
【0003】
音声生成時点において既に全形式で生成して、全形式を同時に放送することも可能である（サイマル放送）。この場合、各音声形式は別々に生成することができる。しかし、このような音声合成は生成時に甚大な労力が必要となる。多くの場合には、人的資源の追加、作業時間の長大化、または、複数の設備（例えば、生中継の場合）が必要となる。このため、生成にかかる労力は、到底受け入れられるものではない。これに代えて、上述した方法のように、自動ダウンミックスが採用され得る。
【0004】
このように音声形式を自動的に変換する方法は既に開発されているが、多岐にわたる素材について満足のいく質を実現するためにはさらなる改善が必要となっている。
【0005】
自動ダウンミックス方法には大きく分けて、アクティブ方式およびパッシブ方式がある。アクティブ方式では素材に応じて自動変換を適用するが、パッシブ方式では信号とは無関係に行なう。公知のパッシブ方式ダウンミックス方法は、放送基準ＩＴＵ−Ｒ ＢＳ．７７５に基づいた方法であり、図１を参照しつつ説明する。
【0006】
公知のダウンミックス方法は、左チャネル（Ｌ）、右チャネル（Ｒ）、中央チャネル（Ｃ）、後方左チャネル（Ｌｓ）、および後方右チャネル（Ｒｓ）という複数の音声チャネルを持つ５チャネル音声形式に基づいており、減衰機能５０、６０、７０によって−３ｄＢだけ、中央チャネル（Ｃ）、後方左チャネル（Ｌｓ）および後方右チャネル（Ｒｓ）のレベルを低減するように設計されている。−３ｄＢ低減された中央チャネルは、加算機能１０または２０を介して左チャネルおよび右チャネルに分配され、第１の加算結果信号（加算機能１０からの出力）および第２の加算結果信号（加算機能２０からの出力）を生成する。−３ｄＢ低減されたレベルの後方左信号（Ｌｓ）および後方右信号（Ｒｓ）は、加算機能３０および４０を介して、第１の加算結果信号および第２の加算結果信号に分配され、所望されている２チャネル音声形式の左チャネル（Ｌ`０）および右チャネル（Ｒ`０）を生成する。
【0007】
アクティブ方式の場合、図１のブロック図に示した加算機能は、加算結果音声信号の特性を確認し、不要な音声を破棄するべく修正される場合もある。このため、コーディング・テクノロジー（Ｃｏｄｉｎｇ Ｔｅｃｈｎｏｌｏｇｙ）社は、図１を参照しつつ説明したＩＴＵに準拠したダウンミックス方法に基づき、全ての加算結果信号のエネルギー内容を２８個の周波数帯域／部分帯域で分析して、５チャネル音声形式のエネルギー内容と比較するダウンミックスアルゴリズムを提案している。このようにすることで、エネルギー内容の増加および低減を特定することができ、部分帯域における振幅を修正することで補償することができる。この場合、コムフィルタ効果による音色の変化を抑制することが出来る。修正は、サフィックス（ｓｕｆｆｉｘｉｎｇ）信号によって修正係数が無限になるので、意味のあるレベルまでを限界として進められる。コーディング・テクノロジー（Ｃｏｄｉｎｇ Ｔｅｃｈｎｏｌｏｇｙ）社のダウンミックスアルゴリズムによれば、結果として得られる２チャネル音声形式の左チャネルと右チャネルとの間でファントム音源をシフトさせることができ、特に、５チャネル形式の素材ではファントム音源が本来どこにあったかに関わらず可能となる。
【0008】
このようなファントム音源のシフトを減らすべく、レキシコン（Ｌｅｘｉｃｏｎ）社は、ダウンミックスに加えてアップミックスも可能であるロジック７（Ｌｏｇｉｃ ７）と呼ばれる方法を提案している。多チャネル音声は、モノラル信号およびステレオ信号にダウンミックスすることが可能である。また、例えば、ステレオダウンミックスから最多で８チャネルを復号することが可能である。このため、中央チャネルダウンミックスの一部分は可変係数で制御され、後方右チャネルおよび後方左チャネルの一部分は別の係数を用いる。左チャネルについては、後方左チャネルのうち０．９１が後方右チャネルのうち−０．３８と共に用いられる。これにしたがって右チャネルの合成も進められる。この方法によれば、後方左チャネルおよび後方右チャネルのレベルは共に、変化しない。面を９０度シフトさせると、左チャネルおよび右チャネルから後方左チャネルおよび後方右チャネルを後で分離させることが可能となる。しかし、ロジック７法では、面のシフトによるコムフィルタ効果に起因する音色の変化を抑制することはできない。
【発明の概要】
【発明が解決しようとする課題】
【0009】
本発明は、ファントム音源のシフト、コヒーレント信号部分とインコヒーレント信号部分との間のレベルの差の変化、および、音色の変化の大部分を補償することを目的とする。上記の目的は、請求項１に記載の特徴を持つ方法および請求項２に記載の方法を実行する装置によって実現される。
【課題を解決するための手段】
【0010】
本発明の基本的な考え方は、第１の加算結果信号（Ｌ`）および第２の加算結果信号（Ｒ`）を生成する際に、重複時間ウィンドウのスペクトル値をそれぞれ、左チャネル（Ｌ）および右チャネル（Ｒ）の（ｋ）個のサンプルで、動的に修正するというものである。さらに、第３の加算結果信号および第４の加算結果信号を生成する際に、重複時間ウィンドウのスペクトル値をそれぞれ、第１の加算結果信号（Ｌ`）および第２の加算結果信号（Ｒ`）の（ｋ）個のサンプルで、動的に修正する。
【図面の簡単な説明】
【0011】
図２から図６に示す実施形態のいずれかに基づき本発明をさらに説明する。図面は以下の通りである。
【0012】
【図1】公知のパッシブ方式ダウンミックス方法を説明するための図である。
【図2】本発明に係る方法を実行する装置を示す一般的なブロック図である。
【図3】目的の機能を実行する分析および修正ブロックを説明するためのフローチャートである。
【図4】目的の機能を実行する分析および修正ブロックを説明するためのフローチャートである。
【図5】目的の機能を実行する分析および修正ブロックを説明するためのフローチャートである。
【図6】目的の機能を実行する分析および修正ブロックを説明するためのフローチャートである。
【発明を実施するための形態】
【0013】
図２に示したブロック図は、図１に示したブロック図と同様であるが、第１の加算結果信号Ｌ`および第２の加算結果信号Ｒ`を生成するための加算機能１００および２００、ならびに、２チャネル音声形式の左信号ＬＩＲＴおよび右信号ＲＩＲＴを生成する加算機能３００および４００は、加算以外にも、分析および修正１−４を行なうという大きな違いがある。中央信号Ｃ、ならびに、後方右信号Ｒｓおよび後方左信号Ｌｓは、減衰機能５０、６０、または７０によって、図１のブロック図にしたがってブロック図２に応じて、例えば−３ｄＢ低減される。しかし、特に、５チャネル形式のソース信号の分類または内容に応じて、−３ｄＢ以外の値で減衰を行なうとしてもよい。
【0014】
図２の修正ブロック１００、２００、３００、および、４００における分析機能については、ブロック１００は図３、ブロック２００は図４、ブロック３００は図５、そして、ブロック４００は図６を参照して説明する。
【0015】
図３に示すブロック１００は、例えば、ＦＦＴ１０１を用いてスペクトル値に、入力された左信号Ｌおよび中央信号Ｃを最初に変換するように構成されている。生成されたスペクトル値ｌ（ｋ）、ｃ（ｋ）は、加算機能１０２において加算される。これらのスペクトル値の絶対値の和Ｓｌ（ｋ）を、所望値Ａｓｏｌｌ，ｌ（ｋ）よりも大きいか否かを判断する判断ブロック１０３において評価する。所望値Ａｓｏｌｌ，ｌ（ｋ）は以下の式で表される。【数1】
【数2】
【0016】
ブロック１００では、判断ブロック１０３の結果、レベル調整済信号ｌ`（ｋ）が、ｍｌ（ｋ）＊ｌ（ｋ）＋ｃ（ｋ）またはＡｓｏｌｌ，ｌ（ｋ）＋（ｌｌ（ｋ）＋ｃ（ｋ）ｌ−Ａｓｏｌｌ，ｌ（ｋ））＊ｎとなり、この後に第１の加算結果信号Ｌ`を生成するべく逆変換１０６が実行される。
【0017】
図４に示すブロック２００は、例えば、ＦＦＴ２０１を用いてスペクトル値に、入力された右信号Ｒおよび中央信号Ｃを最初に変換するように構成されている。生成されたスペクトル値ｒ（ｋ）およびｃ（ｋ）は、加算機能２０２において加算される。これらのスペクトル値の絶対値の和Ｓｒ（ｋ）を続いて、所望値Ａｓｏｌｌ，ｒ（ｋ）よりも大きいか否かを判断する判断ブロック２０３において評価する。所望値Ａｓｏｌｌ，ｒ（ｋ）は以下の式で表される。【数3】
【数4】
【0018】
図５に示すブロック３００は、例えば、ＦＦＴ３０１を用いてスペクトル値に、入力された後方左信号Ｌｓおよび第１の加算結果信号Ｌ`を最初に変換するように構成されている。生成されたスペクトル値ｌｓ（ｋ）およびｌ`（ｋ）は、加算機能３０２において加算される。これらのスペクトル値の絶対値の和Ｓｌｓ（ｋ）を続いて、所望値Ａｓｏｌｌ，ｌｓ（ｋ）よりも大きいか否かを判断する判断ブロック３０４において評価する。所望値Ａｓｏｌｌ，ｌｓ（ｋ）は以下の式で表される。【数5】
【数6】
【0019】
図６に示すブロック４００は、例えば、ＦＦＴ４０１を用いてスペクトル値に、入力された後方左チャネルＲｓおよび第２の加算結果信号Ｒ`を最初に変換するように構成されている。生成されたスペクトル値ｒｓ（ｋ）およびｒ`（ｋ）は、加算機能４０２において加算される。これらのスペクトル値の絶対値の和Ｓｒｓ（ｋ）を続いて、所望値Ａｓｏｌｌ，ｒｓ（ｋ）よりも大きいか否かを判断する判断ブロック４０３において評価する。所望値Ａｓｏｌｌ，ｒｓ（ｋ）は以下の式で表される。【数7】
【数8】
【0020】
式中、ｎは０．１よりも大きく０．４よりも小さい係数である。絶対値の和が所望値Ａｓｏｌｌ，ｒｓ（ｋ）以下であれば、ブロック４０５に示すように、第１の加算結果信号のスペクトル値ｒ´（ｋ）に係数ｍｒｓ（ｋ）を乗算する。係数ｍｒｓ（ｋ）は、１よりも大きく、上述した係数ｎと同様にレベルを調整するべく利用される。ｍｒｓ（ｋ）＊ｒ`（ｋ）の積は後方右チャネルのスペクトル値ｒｓ（ｋ）と加算される（ｍｒｓ（ｋ）＊ｒ`（ｋ）＋ｒｓ（ｋ））。
【0021】
ブロック４００では、判断ブロック４０３の結果、レベル調整済信号が、ｍｒｓ（ｋ）＊ｒ`（ｋ）＋ｒｓ（ｋ）またはＡｓｏｌｌ，ｒｓ（ｋ）＋（ｌｒ`（ｋ）＋ｒｓ（ｋ）ｌ−Ａｓｏｌｌ，ｒｓ（ｋ））＊ｎとなり、この後に第４の加算結果信号つまり右出力信号Ｒを生成するべく逆変換４０６が実行される。尚、本発明は、５チャネル音声形式を２チャネル音声形式にダウンミックスすることに限定されるものではないと理解されたい。本発明が提供する手段には、２チャネル音声形式（ステレオ）を１チャネル音声形式（モノラル）にダウンミックスする手段も含まれる。
乗数（ｍ（ｋ）、ｍ（ｋ）∈
Ａ（ｋ）が、ｒ`、ｌ`、ｌおよびｒのｋ番目のスペクトル値であり、Ａ（ｋ）∈
【数14】
Ｂ（ｋ）が、ｒｓ、ｌｓ、および、ｃのｋ番目のスペクトル値であり、Ｂ（ｋ）∈
【数15】