特許第6849619号(P6849619)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェラインの特許一覧
特許6849619低ビットレートで背景ノイズをモデル化するためのコンフォートノイズ付加
<>
  • 特許6849619-低ビットレートで背景ノイズをモデル化するためのコンフォートノイズ付加 図000010
  • 特許6849619-低ビットレートで背景ノイズをモデル化するためのコンフォートノイズ付加 図000011
  • 特許6849619-低ビットレートで背景ノイズをモデル化するためのコンフォートノイズ付加 図000012
  • 特許6849619-低ビットレートで背景ノイズをモデル化するためのコンフォートノイズ付加 図000013
  • 特許6849619-低ビットレートで背景ノイズをモデル化するためのコンフォートノイズ付加 図000014
  • 特許6849619-低ビットレートで背景ノイズをモデル化するためのコンフォートノイズ付加 図000015
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6849619
(24)【登録日】2021年3月8日
(45)【発行日】2021年3月24日
(54)【発明の名称】低ビットレートで背景ノイズをモデル化するためのコンフォートノイズ付加
(51)【国際特許分類】
   G10L 19/012 20130101AFI20210315BHJP
【FI】
   G10L19/012
【請求項の数】26
【全頁数】25
(21)【出願番号】特願2018-43(P2018-43)
(22)【出願日】2018年1月4日
(62)【分割の表示】特願2015-548606(P2015-548606)の分割
【原出願日】2013年12月19日
(65)【公開番号】特開2018-84834(P2018-84834A)
(43)【公開日】2018年5月31日
【審査請求日】2018年1月23日
(31)【優先権主張番号】61/740,883
(32)【優先日】2012年12月21日
(33)【優先権主張国】US
(73)【特許権者】
【識別番号】500341779
【氏名又は名称】フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン
(74)【代理人】
【識別番号】100085497
【弁理士】
【氏名又は名称】筒井 秀隆
(72)【発明者】
【氏名】フッハス,ギローム
(72)【発明者】
【氏名】ロンバード,アンソニー
(72)【発明者】
【氏名】ラベリー,エマニュエル
(72)【発明者】
【氏名】デーラ,ステファン
(72)【発明者】
【氏名】レコンテ,ジェレミー
(72)【発明者】
【氏名】ディーツ,マルチン
【審査官】 冨澤 直樹
(56)【参考文献】
【文献】 特表2003−522964(JP,A)
【文献】 特開2007−065636(JP,A)
【文献】 特表2011−516901(JP,A)
【文献】 国際公開第2011/049515(WO,A1)
【文献】 特開平11−205485(JP,A)
【文献】 国際公開第2012/055016(WO,A1)
【文献】 特開2005−114890(JP,A)
【文献】 特表2010−532879(JP,A)
【文献】 米国特許出願公開第2008/0159560(US,A1)
【文献】 特開2004−077961(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G10L 19/00−19/26
(57)【特許請求の範囲】
【請求項1】
符号化済みのオーディオビットストリーム(BS)を処理するよう構成された復号器(1)であって、
前記ビットストリーム(BS)から復号化済みオーディオ信号(DS)を導出するよう構成されたビットストリーム復号器(2)であって、前記復号化済みオーディオ信号(DS)が1つ又は複数の復号化済みフレームを含む、ビットストリーム復号器(2)と、
前記復号化済みオーディオ信号(DS)内のノイズ(N)のレベル及び/又はスペクトル形状の推定を含むノイズ推定信号(NE)を生成するよう構成されたノイズ推定装置(3)と、
前記ノイズ推定信号(NE)からコンフォートノイズ信号(CN)を導出するよう構成されたコンフォートノイズ生成装置(4)であって、前記コンフォートノイズ信号(CN)は前記復号化済みオーディオ信号(DS)内の符号化アーチファクトをマスキングする人工的ノイズである、コンフォートノイズ生成装置(4)と、
前記復号化済みオーディオ信号(DS)の前記復号化済みフレームと前記コンフォートノイズ信号(CN)とを結合してオーディオ出力信号(OS)を得るよう構成された結合部(5)と、
を含む復号器。
【請求項2】
前記1つ又は複数の復号化済みフレームは活性フレームを含む、請求項1に記載の復号器。
【請求項3】
前記1つ又は複数の復号化済みフレームは不活性フレームを含む、請求項1又は2に記載の復号器。
【請求項4】
前記ノイズ推定装置(3)は、前記復号化済みオーディオ信号(DS)内の前記ノイズ(N)のレベル及びスペクトル形状を含む分析信号(AS)を生成するよう構成されたスペクトル分析装置(6)と、前記分析信号(AS)に基づいてノイズ推定信号(NE)を生成するよう構成されたノイズ推定生成装置(7)とを含む、請求項1乃至3のいずれか一項に記載の復号器。
【請求項5】
前記コンフォートノイズ生成装置(4)は、前記ノイズ推定信号(NE)に基づいて周波数ドメインのコンフォートノイズ信号(FD)を生成するよう構成されたノイズ生成部(8)と、前記周波数ドメインのコンフォートノイズ信号(FD)に基づいて前記コンフォートノイズ信号(CN)を生成するよう構成されたスペクトル合成部(9)とを含む、請求項1乃至4のいずれか一項に記載の復号器。
【請求項6】
前記復号器(1)は、第1操作モード又は第2操作モードへと択一的に前記復号器を切り替えるよう構成されたスイッチ装置(10)を含み、前記第1操作モードにおいては前記コンフォートノイズ信号(CN)が前記結合部(5)へ供給され、前記第2操作モードにおいては前記コンフォートノイズ信号(CN)が前記結合部(5)へ供給されない、請求項1乃至5のいずれか一項に記載の復号器。
【請求項7】
前記復号器(1)は、前記スイッチ装置(10)を自動的に制御するよう構成された制御装置(11)を含み、前記制御装置(11)は、前記復号化済みオーディオ信号(DS)の信号対ノイズ比に依存して前記スイッチ装置(10)を制御するよう構成されたノイズ検出部(12)を含み、前記復号器(1)は、信号対ノイズ比が低い状況下では前記第1操作モードへと切り替えられ、信号対ノイズ比が高い状況下では前記第2操作モードへと切り替えられる、請求項6に記載の復号器。
【請求項8】
前記制御装置(11)は、前記ビットストリーム(BS)内に含まれた、前記復号化済みオーディオ信号(DS)の前記信号対ノイズ比に対応するサイド情報を受信し、ノイズ検出信号(ND)を生成するよう構成されたサイド情報受信部(13)を含み、前記ノイズ検出部(12)は、前記ノイズ検出信号(ND)に依存して前記スイッチ装置(10)を切り替える、請求項7に記載の復号器。
【請求項9】
前記復号化済みオーディオ信号(DS)の信号対ノイズ比に対応するサイド情報は、前記ビットストリーム(BS)内の少なくとも1つの専用ビットから構成される、請求項8に記載の復号器。
【請求項10】
前記制御装置(11)は、前記復号化済みオーディオ信号(DS)の所望信号(WS)のエネルギーを決定するよう構成された所望信号エネルギー推定部(14)と、前記復号化済みオーディオ信号(DS)のノイズ(N)のエネルギーを決定するよう構成されたノイズエネルギー推定部(15)と、前記所望信号(WS)のエネルギーと前記ノイズ(N)のエネルギーとに基づいて前記復号化済みオーディオ信号(DS)の信号対ノイズ比を決定するよう構成された信号対ノイズ比推定部(16)と、を含み、前記制御装置(11)によって決定された前記信号対ノイズ比に依存して前記スイッチ装置(10)が切り替えられる、請求項7乃至9のいずれか一項に記載の復号器。
【請求項11】
前記ビットストリームは活性フレームと不活性フレームとを含み、前記制御装置(11)は、前記復号化済みオーディオ信号(DS)の前記所望信号(WS)のエネルギーを前記活性フレームの期間中に決定し、前記復号化済みオーディオ信号(DS)の前記ノイズ(N)のエネルギーを前記不活性フレームの期間中に決定するよう構成されている、請求項7乃至10のいずれか一項に記載の復号器。
【請求項12】
前記ビットストリームは活性フレームと不活性フレームとを含み、前記復号器(1)はサイド情報受信部(17)を含み、前記サイド情報受信部(17)は、前記ビットストリーム(BS)内の現在のフレームが活性か不活性かを示すサイド情報に基づいて、前記活性フレームと前記不活性フレームとを区別するよう構成されている、請求項1乃至11のいずれか一項に記載の復号器。
【請求項13】
前記現在のフレームが活性か不活性かを示すサイド情報は、前記ビットストリーム(BS)内の少なくとも1つの専用ビットから構成されている、請求項12に記載の復号器。
【請求項14】
前記制御装置(11)は、前記復号化済みオーディオ信号(DS)の前記所望信号(WS)のエネルギーを、前記分析信号(AS)に基づいて決定するよう構成されている、請求項4及び請求項7乃至13のいずれか一項に記載の復号器。
【請求項15】
前記制御装置(11)は、前記復号化済みオーディオ信号(DS)の前記ノイズ(N)のエネルギーを、前記ノイズ推定信号(NE)に基づいて決定するよう構成されている、請求項7乃至14のいずれか一項に記載の復号器。
【請求項16】
前記コンフォートノイズ生成装置(4)は、目標コンフォートノイズレベル信号(TNL)に基づいて前記コンフォートノイズ信号(CN)を生成するよう構成されている、請求項1乃至15のいずれか一項に記載の復号器。
【請求項17】
前記目標コンフォートノイズレベル信号(TNL)は、前記ビットストリーム(BS)のビットレートに依存して調整される、請求項16に記載の復号器。
【請求項18】
前記目標コンフォートノイズレベル信号(TNL)は、前記ビットストリーム(BS)に適用されたノイズ低減方法によって引き起こされたノイズ減衰レベルに依存して調整される、請求項15又は17に記載の復号器。
【請求項19】
前記周波数ドメインのコンフォートノイズ信号(FD)の周波数帯域kのエネルギーEw(k)は、前記目標コンフォートノイズレベル信号(TNL)に依存して調整され、前記目標コンフォートノイズレベル信号(TNL)は目標コンフォートノイズレベルgtarを示し、各周波数帯域kについて、
【数4】
であり、ここで、
は、前記ノイズ推定生成装置(7)によって供給された、前記周波数帯域kにおける前記復号化済みオーディオ信号(DS)の前記ノイズNのエネルギーの推定を示す、請求項16乃至18のいずれか一項に記載の復号器。
【請求項20】
前記復号器(1)は更なるビットストリーム復号器を含み、前記ビットストリーム復号器(2)と前記更なるビットストリーム復号器とは異なるタイプのものであり、前記復号器(1)はスイッチを含み、そのスイッチは、前記ビットストリーム復号器(2)からの前記復号化済み信号(DS)、又は前記更なるビットストリーム復号器からの復号化済み信号のいずれかを、前記ノイズ推定装置(3)と前記結合部(5)とに供給するよう構成されている、請求項1乃至19のいずれか一項に記載の復号器。
【請求項21】
オーディオビットストリーム(BS)を生成するよう構成された符号器(18)であって、
オーディオ入力信号(IS)に対応する符号化済みオーディオ信号(ES)を生成し、前記符号化済みオーディオ信号(ES)から前記ビットストリーム(BS)を導出するよう構成されたビットストリーム符号器(20)と、
所望信号エネルギー推定部(31)により決定された前記オーディオ入力信号(IS)の所望信号(WS)のエネルギーとノイズエネルギー推定部(32)により決定された前記オーディオ入力信号(IS)のノイズ(N)のエネルギーとに基づいて、前記オーディオ入力信号(IS)の信号対ノイズ比を決定するよう構成された信号対ノイズ比推定部(33)を有する、信号分析部(30)と、
ノイズ低減済みオーディオ信号(TS)を生成するよう構成されたノイズ低減装置(27,28)と、
前記オーディオ入力信号(IS)の決定された信号対ノイズ比に依存して、前記オーディオ入力信号(IS)又は前記ノイズ低減済みオーディオ信号(TS)のいずれかを、それぞれの信号(IS,TS)を符号化するために、前記ビットストリーム符号器(20)に対して供給するよう構成されたスイッチ装置(35)であって、前記ビットストリーム符号器(20)は、前記オーディオ入力信号(IS)又は前記ノイズ低減済みオーディオ信号(TS)のどちらが符号化されているかを示すサイド情報(NF)を前記ビットストリーム(BS)内で伝送するよう構成されている、スイッチ装置(35)と、
を含む符号器。
【請求項22】
復号器(1)と符号器(18)とを含むシステムであって、前記復号器(1)が請求項1乃至19のいずれか一項に記載のように設計され、及び/又は前記符号器(18)が請求項21に記載のように設計されている、システム。
【請求項23】
オーディオビットストリーム(BS)を復号化する方法であって、
前記ビットストリーム(BS)から復号化済みオーディオ信号(DS)を導出するステップであって、前記復号化済みオーディオ信号(DS)が少なくとも1つの復号化済みフレームを含むステップと、
前記復号化済みオーディオ信号(DS)内のノイズ(N)のレベル及び/又はスペクトル形状の推定を含むノイズ推定信号(NE)を生成するステップと、
前記ノイズ推定信号(NE)からコンフォートノイズ信号(CN)を導出するステップであって、前記コンフォートノイズ信号(CN)は前記復号化済みオーディオ信号(DS)内の符号化アーチファクトをマスキングする人工的ノイズである、ステップと、
前記復号化済みオーディオ信号(DS)の前記復号化済みフレームと前記コンフォートノイズ信号(CN)とを結合して、オーディオ出力信号(OS)を得るステップと、
を含む方法。
【請求項24】
オーディオビットストリーム(BS)を生成するためのオーディオ信号符号化の方法であって、
オーディオ入力信号(IS)の所望信号(WS)の決定されたエネルギーと前記オーディオ入力信号(IS)のノイズ(N)の決定されたエネルギーとに基づいて、前記オーディオ入力信号(IS)の信号対ノイズ比を決定するステップと、
ノイズ低減済みオーディオ信号(TS)を生成するステップと、
前記オーディオ入力信号(IS)と対応する符号化済みオーディオ信号(ES)を生成するステップであって、前記オーディオ入力信号(IS)の決定された信号対ノイズ比に依存して、前記オーディオ入力信号(IS)と前記ノイズ低減済みオーディオ信号(TS)とのいずれかを符号化するステップと、
前記符号化済みオーディオ信号(ES)から前記ビットストリーム(BS)を導出するステップと、
前記オーディオ入力信号(IS)又は前記ノイズ低減済みオーディオ信号(TS)のどちらが符号化されているかを示すサイド情報(NF)を、前記ビットストリーム(BS)内で伝送するステップと、
を含む方法。
【請求項25】
コンピュータ又はプロセッサ上で作動したときに、請求項23に記載の方法を実行するためのコンピュータプログラム。
【請求項26】
コンピュータ又はプロセッサ上で作動したときに、請求項24に記載の方法を実行するためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、オーディオ信号処理に関し、特に、ノイズの多いスピーチの符号化とオーディオ信号に対するコンフォートノイズ付加とに関するものである。
【背景技術】
【0002】
コンフォートノイズ生成器は、通常、オーディオ信号、特にスピーチを含むオーディオ信号の不連続的な伝送(DTX)において用いられる。このようなモードでは、オーディオ信号はまず、ボイス活性度検出部(VAD)によって活性フレームと不活性フレームとに分類される。VADの一例は、非特許文献1の中に見出すことができる。VADの結果に基づき、活性スピーチフレームだけが基準ビットレートで符号化され、伝送される。背景ノイズだけが存在するような長いポーズ期間中は、ビットレートが低減されるか又はゼロにされ、背景ノイズが挿話的にかつパラメトリック的に符号化される。そのため、平均ビットレートは有意に低減される。ノイズは、不活性フレームの期間中に復号器側でコンフォートノイズ生成器(CNG)によって生成される。例えば、非特許文献2に記載のスピーチコーダAMR−WBと非特許文献1に記載のITU G.718とは、DTXモードにおいて両方が作動される可能性を持つ。
【0003】
スピーチの符号化、特に低ビットレートにおけるノイズの多いスピーチの符号化は、アーチファクトをもたらす傾向がある。スピーチコーダは通常、背景ノイズが存在する場所ではもはや当てはまらなくなるようなスピーチ生成モデルに基づいている。そのような場合、符号化効率は低下し、復号化されたオーディオ信号の品質も低下する。更に、ノイズの多いスピーチを取り扱う場合には、スピーチ符号化の幾つかの特徴が特に混乱する可能性がある。確かに、低ビットレートにおいては、符号化パラメータの粗い量子化が、経時的にいくらかの揺らぎ(fluctuation)を生じさせ、その揺らぎは、定常的な背景ノイズの上にスピーチを符号化するときに知覚的な不快感を生じさせる。
【0004】
ノイズ低減は、スピーチの了解度を向上させ、背景ノイズが存在する場合のコミュニケーションを改善させるための公知の技術である。それはまた、スピーチ符号化の中でも採用されてきた。例えば、コーダG.718は、スピーチピッチのような幾つかの符号化パラメータを推論するためのノイズ低減を用いている。ノイズ低減の技術はまた、オリジナル信号の代わりに強化された信号を符号化するという可能性も有する。その場合、復号化された信号において、スピーチはノイズレベルと比較してより優勢なものとなる。しかしながら、スピーチは通常、より劣化し又は不自然な音をもたらしてしまう。なぜなら、ノイズ低減がスピーチ成分を歪ませ、符号化アーチファクトに加えて、可聴の楽音的ノイズアーチファクトをも引き起こす可能性があるからである。
【先行技術文献】
【非特許文献】
【0005】
【非特許文献1】Recommendation ITU-T G.718: “Frame error robust narrow-band and wideband embedded variable bit-rate coding of speech and audio from 8-32 kbit/s”
【非特許文献2】3GPP TS 26.190 “Adaptive Multi-Rate wideband speech transcoding,” 3GPP Technical Specification.
【発明の概要】
【発明が解決しようとする課題】
【0006】
本発明の目的は、オーディオ信号処理の改善された概念を提供することである。本発明の目的は、請求項1に記載の復号器と、請求項18に記載の符号器と、請求項19に記載のシステムと、請求項20又は21に記載の方法と、請求項22に記載のビットストリームと、請求項15に記載のコンピュータプログラムとによって達成される。
【課題を解決するための手段】
【0007】
1つの態様において、本発明は、符号化済みのオーディオビットストリームを処理するよう構成された復号器を提供し、その復号器は、
ビットストリームから復号化済みオーディオ信号を導出するよう構成されたビットストリーム復号器であって、その復号化済みオーディオ信号が少なくとも1つの復号化済みフレームを含む、ビットストリーム復号器と、
復号化済みオーディオ信号内のノイズのレベル及び/又はスペクトル形状の推定を含むノイズ推定信号を生成するよう構成されたノイズ推定装置と、
ノイズ推定信号からコンフォートノイズ信号を導出するよう構成されたコンフォートノイズ生成装置と、
復号化済みオーディオ信号の復号化済みフレームとコンフォートノイズ信号とを結合してオーディオ出力信号を得るよう構成された結合部と、を含む。
【0008】
ビットストリーム復号器は、オーディオ情報を含むデジタルデータストリームである、オーディオビットストリームを復号化できる装置又はコンピュータプログラムであってもよい。復号化処理の結果として、デジタルの復号化済みオーディオ信号が生成され、これがA/D変換器へと供給されてアナログのオーディオ信号が生成され、その信号が次にラウドスピーカへと供給されて可聴信号が生成されてもよい。
【0009】
復号化済みオーディオ信号は所謂フレームへと分割され、これらフレームの各々が、ある時間区間に関連するオーディオ情報を含んでいる。そのようなフレームは、活性フレームと不活性フレームとに分類されてもよく、活性フレームとは、スピーチや音楽などのオーディオ情報の所望の成分を含むフレームであり、一方、不活性フレームとは、オーディオ情報の如何なる所望の成分をも含まないフレームである。不活性フレームは通常、音楽やスピーチなどの所望の成分が存在しないようなポーズ期間中に発生する。したがって、不活性フレームは通常は背景ノイズだけを含む。
【0010】
オーディオ信号の不連続な伝送(DTX)においては、不活性フレームの期間中、符号器はビットストリーム内にオーディオ信号を伝送しないので、ビットストリームを復号化することによって、復号化済みオーディオ信号の活性フレームだけが取得される。
【0011】
オーディオ信号の非不連続な伝送(non−DTX)においては、ビットストリームを復号化することによって、活性フレーム及び不活性フレームが取得される。
【0012】
ビットストリーム復号器によりビットストリームを復号化することで取得されるフレームは、復号化済みフレームと呼ばれる。
【0013】
ノイズ推定装置は、復号化済みオーディオ信号内のノイズのレベル及び/又はスペクトル形状の推定を含むノイズ推定信号を生成するよう構成されている。更に、コンフォートノイズ生成装置は、ノイズ推定信号からコンフォートノイズ信号を導出するよう構成されている。ノイズ推定信号は、復号化済みオーディオ信号内にパラメトリック形式で含まれているノイズの特性に関する情報を含む信号であってもよい。コンフォートノイズ信号とは、復号化済みオーディオ信号に含まれたノイズに対応する人工的なオーディオ信号である。これらの特徴により、ビットストリーム内の背景ノイズに関する如何なるサイド情報も必要とせずに、コンフォートノイズが実際の背景ノイズのように聴こえることができる。
【0014】
結合部は、復号化済みオーディオ信号の復号化済みフレームとコンフォートノイズ信号とを結合して、オーディオ出力信号を取得するよう構成されている。その結果、オーディオ出力信号は、人工的ノイズを含む復号化済みフレームを含む。復号化済みフレーム内の人工的ノイズにより、特にビットストリームが低ビットレートで伝送される場合に、オーディオ出力信号内のアーチファクトをマスキングできるようになる。それは、通常観測される揺らぎを平滑化し、その一方で、優勢な符号化アーチファクトをマスキングする。
【0015】
先行技術とは対照的に、本発明は、復号化済みフレームに対して人工的なコンフォートノイズを付加するという原理を適用する。本発明の概念は、DTX及び非DTXの両方のモードにおいて適用可能である。
【0016】
本発明は、低ビットレートで符号化されかつ伝送されるノイズの多いスピーチの品質を向上させる方法を提供する。低ビットレートでは、ノイズの多いスピーチ、即ち背景ノイズと一緒に録音されたスピーチの符号化は、通常、明瞭なスピーチの符号化ほど効率的でない。復号化された合成信号は、通常、アーチファクトを持つ傾向にある。2つの異なる種類の音源、即ちノイズとスピーチとは、単一音源モデルに依存する1つの符号化スキームによって効率的に符号化され得ない。本発明は、復号器側において背景ノイズをモデル化しかつ合成する概念を提供し、サイド情報を極少量しか必要としないか又は全く必要としない。このことは、背景ノイズのレベル及びスペクトル形状を復号器側で推定し、かつコンフォートノイズを人工的に生成することによって達成される。生成されたノイズは、復号化済みオーディオ信号と結合され、符号化アーチファクトのマスキングを可能にする。
【0017】
更に、本発明の概念は、符号器側において適用されるノイズ低減手法と組み合わせることができる。ノイズ低減は信号対ノイズ比(SNR)レベルを改善し、後続のオーディオ符号化の性能を向上させる。復号化済みオーディオ信号内のノイズの消失量は、次に復号器側でコンフォートノイズによって補償される。しかし、それは通常、より劣化した又は不自然に聴こえるものである。なぜなら、ノイズ低減がオーディオ成分を歪ませ、符号化アーチファクトに加えて、可聴の楽音ノイズアーチファクトを引き起こし得るからである。本発明の一つの特徴は、そのような不快な歪みを、復号器側でコンフォートノイズを付加することによりマスキングすることである。ノイズ低減手法を使用する場合、コンフォートノイズの付加はSNRを劣化させない。更に、コンフォートノイズが、ノイズ低減技術で典型的に生じる悩ましい楽音ノイズの大部分を隠蔽する。
【0018】
本発明の好ましい一実施形態において、復号化済みフレームは活性フレームである。この特徴は、コンフォートノイズの付加の原理を復号化済み活性フレームに拡張するものである。
【0019】
本発明の好ましい一実施形態において、復号化済みフレームは不活性フレームである。この特徴は、コンフォートノイズの付加の原理を復号化済み不活性フレームに拡張するものである。
【0020】
本発明の好ましい一実施形態において、ノイズ推定装置は、復号化済みオーディオ信号内のノイズのレベルとスペクトル形状とを含む分析信号を生成するよう構成されたスペクトル分析装置と、その分析信号に基づいてノイズ推定信号を生成するよう構成されたノイズ推定生成装置と、を含む。
【0021】
本発明の好ましい一実施形態において、コンフォートノイズ生成装置は、ノイズ推定信号に基づいて周波数ドメインのコンフォートノイズ信号を生成するよう構成されたノイズ生成部と、その周波数ドメインのコンフォートノイズ信号に基づいてコンフォートノイズ信号を生成するよう構成されたスペクトル合成部と、を含む。
【0022】
本発明の好ましい一実施形態において、復号器は、第1操作モード又は第2操作モードへとニ者択一的に復号器を切り替えるよう構成されたスイッチ装置を含み、第1操作モードにおいてはコンフォートノイズ信号が結合部へと供給され、一方、第2操作モードにおいてはコンフォートノイズ信号が結合部に供給されない。これらの特徴により、人工的なコンフォートノイズが不要な状況下では人工的なコンフォートノイズの使用を中止させることが可能になる。
【0023】
本発明の好ましい一実施形態において、復号器は、スイッチ装置を自動的に制御するよう構成された制御装置を含み、その制御装置は、復号化済みオーディオ信号の信号対ノイズ比に依存してスイッチ装置を制御するよう構成されたノイズ検出部を含み、復号器は、信号対ノイズ比が低い状況下では第1操作モードへと切り替えられ、信号対ノイズ比が高い状況下では第2操作モードへと切り替えられる。これらの特徴により、コンフォートノイズは、ノイズの多いスピーチシナリオにおいてだけトリガーされることができ、明瞭なスピーチ又は明瞭な音楽の状況においてはトリガーされない。信号対ノイズ比が低い状況と信号対ノイズ比が高い状況とを区別する目的で、信号対ノイズ比の閾値が定義され使用されてもよい。
【0024】
本発明の好ましい一実施形態において、制御装置は、ビットストリーム内に含まれた、復号化済みオーディオ信号の信号対ノイズ比に対応するサイド情報を受信し、かつ、ノイズ検出信号を生成するよう構成されたサイド情報受信部を含み、ノイズ検出部はそのノイズ検出信号に依存してスイッチ装置を制御する。これらの特徴により、受信されたビットストリームを生成及び/又は処理する外部装置によって実行された信号分析に基づいて、スイッチ装置を制御することが可能になる。その外部装置は、特に、ビットストリームを生成している符号器であってもよい。
【0025】
本発明の好ましい一実施形態において、復号化済みオーディオ信号の信号対ノイズ比に対応するサイド情報は、ビットストリーム内の少なくとも1つの専用ビットから構成される。一般的に、専用ビットとは、それ単独で、又は他の専用ビットと共に、定義された情報を含む1つのビットのことである。ここでは、専用ビットは、信号対ノイズ比が所定の閾値より上か下かを示してもよい。
【0026】
本発明の好ましい一実施形態において、制御装置は、復号化済みオーディオ信号の所望信号のエネルギーを決定するよう構成された所望信号エネルギー推定部と、復号化済みオーディオ信号のノイズのエネルギーを決定するよう構成されたノイズエネルギー推定部と、所望信号のエネルギー及びノイズのエネルギーに基づいて復号化済みオーディオ信号の信号対ノイズ比を決定するよう構成された信号対ノイズ比推定部と、を含み、スイッチ装置はこの制御装置によって決定された信号対ノイズ比に依存して切り替えられる。この場合、ビットストリーム内のサイド情報は必要でない。所望信号のエネルギーは通常、復号化済み信号のノイズのエネルギーより大きいので、所望信号のエネルギーとノイズのエネルギーとを含む復号化済みオーディオ信号の全エネルギーによって、復号化済みオーディオ信号の所望信号のエネルギーの粗い推定が得られる。この理由により、信号対ノイズ比は、復号化済みオーディオ信号の全エネルギーを復号化済み信号のノイズのエネルギーで除算することにより、近似的に計算されてもよい。
【0027】
本発明の好ましい一実施形態において、ビットストリームは活性フレームと不活性フレームとを含み、制御装置は、復号化済みオーディオ信号の所望信号のエネルギーを活性フレームの期間中に決定し、復号化済みオーディオ信号のノイズのエネルギーを不活性フレームの期間中に決定するよう構成されている。これにより、信号対ノイズ比を推定するときの高度な正確性が容易な方法で達成され得る。
【0028】
本発明の好ましい一実施形態において、ビットストリームは活性フレームと不活性フレームとを含み、復号器はサイド情報受信部を含み、そのサイド情報受信部は、現在のフレームが活性か不活性かを示すビットストリーム内のサイド情報に基づいて、活性フレームと不活性フレームとを区別するよう構成されている。この特徴により、活性フレーム又は不活性フレームはそれぞれ、計算労力なく識別され得る。
【0029】
本発明の好ましい一実施形態において、現在のフレームが活性か不活性かを示すサイド情報は、ビットストリーム内の少なくとも1つの専用ビットから構成される。
【0030】
本発明の好ましい一実施形態において、制御装置は、復号化済みオーディオ信号の所望信号のエネルギーを分析信号に基づいて決定するよう構成されている。この場合、通常はノイズ推定の目的で計算されるべき分析信号が再使用されることができ、その結果、複雑さが低減され得る。
【0031】
本発明の好ましい一実施形態において、制御装置は、復号化済みオーディオ信号のノイズのエネルギーをノイズ推定信号に基づいて決定するよう構成されている。そのような実施形態においては、典型的にはコンフォートノイズ生成の目的で計算されるべきノイズ推定信号が再使用されることができ、その結果、複雑さが更に低減され得る。
【0032】
本発明の好ましい一実施形態において、コンフォートノイズ生成装置は、目標コンフォートノイズレベル信号に基づいてコンフォートノイズ信号を生成するよう構成されている。付加されるコンフォートノイズのレベルは、了解度と品質を保存するために制限される必要がある。この点については、事前に決定された目標ノイズレベルを示す目標ノイズ信号を使用してコンフォートノイズをスケールすることで達成可能である。
【0033】
本発明の好ましい一実施形態において、目標コンフォートノイズレベル信号は、ビットストリームのビットレートに依存して調整される。典型的に、復号化済みオーディオ信号は、特に符号化アーチファクトが最も激しい低ビットレートにおいて、オリジナル入力信号よりも高い信号対ノイズ比を示す。スピーチ符号化におけるノイズレベルのこのような減衰は、入力としてスピーチを有することを想定しているソースモデルパラダイムに起因する。その他の場合には、そのソースモデルの符号化は全く適切ではなく、非スピーチ成分の全体エネルギーを再生できないであろう。それ故、目標コンフォートノイズレベル信号は、符号化プロセスによって固有に導入されたノイズ減衰を大まかに補償するために、ビットレートに依存して調整されてもよい。
【0034】
本発明の好ましい一実施形態において、目標コンフォートノイズレベル信号は、ビットストリームに適用されたノイズ低減法によって引き起こされたノイズ減衰レベルに依存して調整される。この特徴により、符号器内のノイズ低減モジュールによって引き起こされたノイズ減衰が補償され得る。
【0035】
本発明の好ましい一実施形態において、ランダムノイズw(k)の周波数ドメインのコンフォートノイズ信号のエネルギーは、目標コンフォートノイズレベル信号に依存して調整される。その目標コンフォートノイズレベル信号は目標コンフォートノイズレベルgtarを示し、各周波数kについて次式の通りである。
【数1】
【0036】
ここで、
は、周波数kにおける復号化済みオーディオ信号のノイズのエネルギーの推定値であり、ノイズ推定生成装置によって供給されたものである。これらの特徴により、出力信号の了解度及び品質が向上され得る。
【0037】
本発明の好ましい実施形態において、復号器は更なるビットストリーム復号器を含み、前記ビットストリーム復号器とその更なるビットストリーム復号器とは異なるタイプのものであり、復号器はスイッチを含み、そのスイッチは、ビットストリーム復号器からの復号化済み信号、又は更なるビットストリーム復号器からの復号化済み信号のいずれかを、ノイズ推定装置と結合部とに供給するよう構成されている。ビットストリーム復号器を使用する場合と同様に、更なるビットストリーム復号器を使用する場合でも、コンフォートノイズの付加が実行されるので、ビットストリーム復号器と更なるビットストリーム復号器とを切り替えるときの遷移アーチファクトは最小化され得る。例えば、ビットストリーム復号器は代数符号励振線形予測(ACELP)ビットストリーム復号器であってもよく、他方、更なるビットストリーム復号器は変換ベースのコア(TCX)ビットストリーム復号器であってもよい。
【0038】
本発明は更に、オーディオビットストリームを生成するよう構成されたオーディオ信号処理符号器を提供し、その符号器は、
オーディオ入力信号に対応する符号化済みオーディオ信号を生成し、その符号化済みオーディオ信号からビットストリームを導出するよう構成されたビットストリーム符号器と、
所望信号エネルギー推定部により決定されたオーディオ信号の所望信号のエネルギーと、ノイズエネルギー推定部により決定されたオーディオ入力信号のノイズのエネルギーとに基づいて、オーディオ入力信号の信号対ノイズ比を決定するよう構成された信号対ノイズ比推定部を有する、信号分析部と、
ノイズ低減済みオーディオ信号を生成するよう構成されたノイズ低減装置と、
オーディオ入力信号の決定された信号対ノイズ比に依存して、オーディオ入力信号又はノイズ低減済みオーディオ信号のいずれかを、これら各信号を符号化するために、ビットストリーム符号器に対して供給するよう構成されたスイッチ装置であって、ビットストリーム符号器は、オーディオ入力信号又はノイズ低減済みオーディオ信号のどちらが符号化されているかを示すサイド情報を、ビットストリーム内で伝送するよう構成されている、スイッチ装置と、を含む。
【0039】
ビットストリーム符号器は、オーディオ情報を含むデジタルデータ信号であるオーディオ信号を符号化できる装置またはコンピュータプログラムであってもよい。符号化処理の結果、デジタルビットストリームが生成され、それがデジタルデータリンクを介して遠位の復号器へと伝送されてもよい。
【0040】
オーディオ入力信号はビットストリーム符号器によって直接的に符号化される。ビットストリーム符号器は、スピーチ符号器であってもよいし、スピーチコーダACELPと変換ベースのオーディオコーダTCXとの間を切り替える低遅延のスキームであってもよい。ビットストリーム符号器は、オーディオ入力信号を符号化し、さらにそのオーディオ信号を復号化するために必要なビットストリームを生成する役割を担う。これと並行して、入力信号は、信号分析器と称される何らかのモジュールによって分析される。好ましい一実施形態において、その信号分析はG.718において使用されているものと同じである。信号分析は、スペクトル分析装置と、それに続くノイズ推定生成装置とにより構成されている。オリジナル信号と推定されたノイズとの両方のスペクトルがノイズ低減モジュールに入力される。ノイズ低減は、周波数ドメインにおいて背景ノイズレベルを減衰させる。その低減量は、目標減衰レベルによって与えられる。強化された時間ドメイン信号(ノイズ低減済みオーディオ信号)は、スペクトル合成の後で生成される。その信号は、幾つかの特徴、即ち活性フレームと不活性フレームとを区別するためにVADにより活用されるピッチ安定度など、を推論するために使用される。その分類の結果は、符号器モジュールによってさらに利用されてもよい。好ましい実施形態において、特定の符号化モードが不活性フレームを取り扱うために使用される。このようにして、復号器は、専用ビットを必要とせずに、ビットストリームからVADフラグを推論できる。
【0041】
ノイズのない状態(明瞭なスピーチ又は明瞭な音楽)における不要な歪みを回避するために、ノイズ低減はノイズの多いスピーチの場合にのみ適用され、その他の場合には迂回される。ノイズが多い信号とノイズが無い信号との間の区別は、ノイズと所望信号(スピーチ又は音楽)との両者の長期間エネルギーを推定することで達成される。活性フレームの期間中は、長期間エネルギーは入力フレームエネルギーの一次の自己回帰フィルタリングにより計算され、一方で不活性フレームの期間中は、長期間エネルギーはノイズ推定モジュールの出力を使用して計算される。このようにして信号対ノイズ比の推定が計算されることができ、その推定はノイズの長期間エネルギーに対するスピーチ又は音楽の長期間エネルギーの比として定義される。信号対ノイズ比が所定の閾値を下回る場合、そのフレームはノイズの多いスピーチとして認識され、その他の場合には明瞭なスピーチとして分類される。ビットストリーム符号器は、オーディオ入力信号又はノイズ低減済みオーディオ信号のいずれが符号化されているかを示すサイド情報を、ビットストリームの中で伝送するよう構成されているため、復号器は、目標コンフォートノイズレベル信号を、符号器の操作モードに対して自動的に調整することができる。
【0042】
本発明の好ましい一実施形態において、活性フレームの期間中に、長期間のスピーチ/音楽エネルギー推定だけが更新される。不活性フレームの期間中には、ノイズエネルギー推定だけが更新される。
【0043】
本発明は更に、オーディオ信号処理復号器とオーディオ信号処理符号器とを含むシステムを提供し、その復号器は特許請求の範囲に従って設計されており、及び/又はその符号器は特許請求の範囲に従って設計されている。
【0044】
本発明の他の態様は、オーディオビットストリームを復号化する方法を提供し、その方法は、
ビットストリームから復号化済みオーディオ信号を導出するステップであって、その復号化済みオーディオ信号が少なくとも1つの復号化済みフレームを含む、ステップと、
復号化済みオーディオ信号内のノイズのレベル及び/又はスペクトル形状の推定を含むノイズ推定信号を生成するステップと、
ノイズ推定信号からコンフォートノイズ信号を導出するステップと、
復号化済みオーディオ信号の復号化済みフレームとコンフォートノイズ信号とを結合してオーディオ出力信号を得るステップと、
を含む。
【0045】
本発明は、オーディオビットストリームを生成するためのオーディオ信号符号化の方法を更に提供し、その方法は、
オーディオ入力信号の所望信号の決定されたエネルギーとオーディオ入力信号のノイズの決定されたエネルギーとに基づいて、オーディオ入力信号の信号対ノイズ比を決定するステップと、
ノイズ低減済みオーディオ信号を生成するステップと、
オーディオ入力信号と対応する符号化済みオーディオ信号を生成するステップであって、オーディオ入力信号の決定された信号対ノイズ比に依存して、オーディオ入力信号とノイズ低減済みオーディオ信号とのいずれかを符号化するステップと、
符号化済みオーディオ信号からビットストリームを導出するステップと、
オーディオ入力信号又はノイズ低減済みオーディオ信号のいずれが符号化されているかを示すサイド情報を、ビットストリーム内で伝送するステップと、
を含む。
【0046】
本発明は、更に、上述の方法に従って生成されたビットストリームを提供する。特許請求の範囲に記載のビットストリームは、オーディオ入力信号又はノイズ低減済みオーディオ信号のいずれが符号化されているかを示すサイド情報を含む。
【0047】
本発明の更なる態様は、コンピュータ又はプロセッサ上で作動するときに、本発明の方法を実行するコンピュータプログラムを提供する。
【0048】
本発明の好ましい実施形態を、添付の図を参照しながら以下に説明する。
【図面の簡単な説明】
【0049】
図1】本発明に係る復号器の第1実施例を示す。
図2】本発明に係る復号器の第2実施例を示す。
図3】先行技術に係る符号器を示す。
図4】本発明に係る符号器の第1実施例を示す。
図5】本発明に係る符号器の第2実施例を示す。
図6】本発明に係るビットストリームのフレームフォーマットの一実施例を示す。
【発明を実施するための形態】
【0050】
図1は、本発明に係る復号器1の第1実施例を示す。復号器1は、符号化済みビットストリームBSを処理するよう構成され、復号器1は、
ビットストリームBSから復号化済みオーディオ信号DSを導出するよう構成されたビットストリーム復号器2であって、復号化済みオーディオ信号DSが少なくとも1つの復号化済みフレームを含む、ビットストリーム復号器2と、
復号化済みオーディオ信号DS内のノイズNのレベル及び/又はスペクトル形状の推定を含むノイズ推定信号NEを生成するよう構成されたノイズ推定装置3と、
ノイズ推定信号NEからコンフォートノイズ信号CNを導出するよう構成されたコンフォートノイズ生成装置4と、
復号化済みオーディオ信号DSの復号化済みフレームとコンフォートノイズ信号CNとを結合してオーディオ出力信号OSを得るよう構成された結合部5と、
を含む。
【0051】
ビットストリーム復号器2は、オーディオ情報を含むデジタルデータストリームであるオーディオビットストリームBSを復号化できる装置又はコンピュータプログラムであってもよい。復号化処理の結果としてデジタル復号化済みオーディオ信号DSが生成され、この信号がA/D変換器へと供給されてアナログオーディオ信号が生成され、その信号が次にラウドスピーカへと供給されて、可聴信号が生成されてもよい。
【0052】
復号化済みオーディオ信号DSは所謂フレームを含み、これらフレームの各々がある時間に関するオーディオ情報を含んでいる。そのようなフレームは、活性フレームと不活性フレームとに分類されてもよく、活性フレームとは、スピーチや音楽などのオーディオ情報の所望の成分WS(所望信号WSとも呼ばれる)を含むフレームであり、一方、不活性フレームとは、オーディオ情報の如何なる所望の成分をも含まないフレームである。不活性フレームは通常はポーズの期間中に発生し、そこでは音楽やスピーチなどの所望の成分は存在しない。したがって、不活性フレームは通常は背景ノイズNだけを含む。
【0053】
ノイズ推定装置3は、復号化済みオーディオ信号DS内のノイズのレベル及び/又はスペクトル形状の推定を含むノイズ推定信号NEを生成するよう構成されている。更に、コンフォートノイズ生成装置4は、ノイズ推定信号NEからコンフォートノイズ信号CNを導出するよう構成されている。ノイズ推定信号NEは、復号化済みオーディオ信号DS内にパラメトリック形式で含まれているノイズNの特性に関する情報を含む信号であってもよい。コンフォートノイズ信号CNとは、復号化済みオーディオ信号DS内に含まれるノイズNに対応する人工的なオーディオ信号である。これらの特徴により、背景ノイズNに関するビットストリームBS内のサイド情報を何も必要とせずに、コンフォートノイズCNが実際の背景ノイズNのように聴こえることができる。
【0054】
結合部5は、復号化済みオーディオ信号DSの復号化済みフレームとコンフォートノイズ信号CNとを結合して、オーディオ出力信号OSを取得するよう構成されている。その結果、オーディオ出力信号OSは、人工的ノイズCNを含む復号化済みフレームを含む。復号化済みフレーム内の人工的ノイズCNにより、特にビットストリームBSが低ビットレートで伝送される場合に、オーディオ出力信号OS内のアーチファクトをマスキングできるようになる。
【0055】
先行技術とは対照的に、本発明は、復号化済みの活性フレーム又は不活性フレームに対して人工的なコンフォートノイズCNを付加するという原理を適用する。本発明の概念は、DTX及び非DTXの両方のモードに適用可能である。
【0056】
本発明は、低ビットレートで符号化されかつ伝送されるノイズの多いスピーチの品質を向上させる方法を提供する。低ビットレートでは、ノイズの多いスピーチ、即ち背景ノイズNとともに録音されたスピーチの符号化は、通常、明瞭なスピーチWSの符号化ほど効率的でない。復号化された合成信号は、通常、アーチファクトを持つ傾向にある。2つの異なる種類の音源、即ちノイズNとスピーチWSとは、単一音源モデルに依存する1つの符号化スキームによって効率的に符号化され得ない。本発明は、復号器側において背景ノイズNをモデル化しかつ合成し、サイド情報を極少量しか必要としないか又は全く必要としないような概念を提供する。これは、背景ノイズNのレベル及びスペクトル形状を復号器側で推定し、かつコンフォートノイズCNを人工的に生成することによって達成される。その生成されたノイズCNは、復号化済みオーディオ信号DSと結合されて、復号化済みフレーム内の符号化アーチファクトをマスキングすることを可能にする。
【0057】
更に、前記概念は、符号器側において適用されるノイズ低減スキームと組み合わせることができる。ノイズ低減により信号対ノイズ比(SNR)のレベルが改善し、後続のオーディオ符号化の性能を向上させる。復号化済みオーディオ信号DS内のノイズNの消失量は、復号器側でコンフォートノイズCNによって補償される。しかし、それは通常、より劣化した又は不自然に聴こえるものである。なぜなら、ノイズ低減がオーディオ成分を歪ませ、符号化アーチファクトに加えて、可聴の楽音的ノイズアーチファクトを引き起こし得るからである。本発明の一つの特徴は、そのような不快な歪みを、復号器側でコンフォートノイズCNを付加することでマスクすることである。ノイズ低減スキームを使用する場合、コンフォートノイズの付加はSNRを劣化させない。更に、コンフォートノイズは、ノイズ低減技術では典型的に生じる悩ましい楽音ノイズの大部分を隠蔽する。
【0058】
本発明の好ましい一実施形態において、復号化済みフレームは活性フレームである。この特徴は、コンフォートノイズの付加の原理を復号化済み活性フレームに拡張するものである。
【0059】
本発明の好ましい一実施形態において、復号化済みフレームは不活性フレームである。この特徴は、コンフォートノイズの付加の原理を復号化済み不活性フレームに拡張するものである。
【0060】
本発明の好ましい一実施形態において、ノイズ推定装置3は、復号化済みオーディオ信号DS内のノイズのレベル及びスペクトル形状を含む分析信号ASを生成するよう構成されたスペクトル分析装置6と、その分析信号ASに基づいてノイズ推定信号NEを生成するよう構成されたノイズ推定生成装置7と、を含む。
【0061】
本発明の好ましい一実施形態において、コンフォートノイズ生成装置4は、ノイズ推定信号NEに基づいて周波数ドメインのコンフォートノイズ信号FDを生成するよう構成されたノイズ生成部8と、その周波数ドメインのコンフォートノイズ信号FDに基づいてコンフォートノイズ信号CNを生成するよう構成されたスペクトル合成部9と、を含む。
【0062】
本発明の好ましい一実施形態において、復号器1は、第1操作モード又は第2操作モードへとニ者択一的に復号器1を切り替えるよう構成されたスイッチ装置10を含み、第1操作モードにおいてはコンフォートノイズ信号CNが結合部へと供給され、第2操作モードにおいてはコンフォートノイズ信号CNが結合部5に供給されない。これらの特徴により、コンフォートノイズCNの不要な状況下での人工的なコンフォートノイズCNの使用を中止させることが可能になる。
【0063】
本発明の好ましい一実施形態において、復号器1は、スイッチ装置10を自動的に制御するよう構成された制御装置11を含み、その制御装置11は、復号化済みオーディオ信号DSの信号対ノイズ比に依存してスイッチ装置10を制御するよう構成されたノイズ検出部12を含み、復号器は、信号対ノイズ比が低い状況下では第1操作モードへ切り替えられ、信号対ノイズ比が高い状況下では第2操作モードへ切り替えられる。これらの特徴により、コンフォートノイズCNの使用は、ノイズの多いスピーチシナリオにおいてだけトリガーされてもよい。即ち、明瞭なスピーチ又は明瞭な音楽の状況においてはトリガーされない。信号対ノイズ比が低い状況と信号対ノイズ比が高い状況とを区別する目的で、信号対ノイズ比についての閾値が定義され使用されてもよい。
【0064】
本発明の好ましい一実施形態において、制御装置11は、ビットストリームBS内に含まれた、復号化済みオーディオ信号DSの信号対ノイズ比に対応するサイド情報を受信し、ノイズ検出信号NDを生成するよう構成されたサイド情報受信部13を含み、ノイズ検出部12はそのノイズ検出信号NDに依存してスイッチ装置10を切り替える。これらの特徴により、受信されたビットストリームBSを生成及び/又は処理する外部装置によってなされた信号分析に基づいて、スイッチ装置10を制御することが可能になる。その外部装置は、特に、ビットストリームBSを生成している符号器であってもよい。
【0065】
本発明の好ましい一実施形態において、復号化済みオーディオ信号DSの信号対ノイズ比に対応するサイド情報は、ビットストリームBS内の少なくとも1つの専用ビットから構成される。一般的に、専用ビットとは、それ単独で、又は他の専用ビットと共に、定義された情報を含む1つのビットのことである。ここでは、専用ビットは、信号対ノイズ比が所定の閾値より上か下かを示してもよい。
【0066】
本発明の好ましい一実施形態において、コンフォートノイズ生成装置4は、目標コンフォートノイズレベル信号TNLに基づいてコンフォートノイズ信号CNを生成するよう構成されている。付加されるコンフォートノイズCNのレベルは、了解度と品質を保存するために制限されるべきである。この点については、予め決定された目標ノイズレベルを示す目標ノイズ信号TNLを使用してコンフォートノイズCNをスケールすることで達成可能である。
【0067】
本発明の好ましい一実施形態において、目標コンフォートノイズレベル信号TNLは、ビットストリームBSのビットレートに依存して調整される。典型的に、復号化済みオーディオ信号DSは、特に符号化アーチファクトが最も激しい低ビットレートにおいて、オリジナル入力信号よりも高い信号対ノイズ比を示す。スピーチ符号化におけるノイズレベルのこのような減衰は、入力としてスピーチを有することを想定しているソースモデルパラダイムに起因する。その他の場合には、そのソースモデルの符号化は全く適切ではなく、非スピーチ成分の全体エネルギーを再生できないであろう。それ故、目標コンフォートノイズレベル信号TNLは、符号化プロセスによって固有に導入されたノイズ減衰を大まかに補償するために、ビットレートに依存して調整されてもよい。
【0068】
本発明の好ましい一実施形態において、目標コンフォートノイズレベル信号TNLは、ビットストリームBSに適用されたノイズ低減法によって引き起こされるノイズ減衰レベルに依存して調整される。この特徴により、符号器内のノイズ低減モジュールによって引き起こされるノイズ減衰は、補償され得る。
【0069】
本発明の好ましい一実施形態において、ランダムノイズw(k)の周波数ドメインのコンフォートノイズ信号FDのエネルギーは、目標コンフォートノイズレベル信号TNLに依存して調整される。その目標コンフォートノイズレベル信号TNLは目標コンフォートノイズレベルgtarを示し、各周波数kについて次式の通りである。
【数2】
【0070】
ここで、
は、ノイズ推定生成装置7によって供給された、周波数kにおける復号化済みオーディオ信号DSのノイズNのエネルギーの推定値である。これらの特徴により、出力信号OSの了解度及び品質が改善され得る。
【0071】
図2は本発明にかかる復号器1の第2実施例を示す。この復号器1の第2実施例は、第1実施例の復号器1に基づいている。以下では、第1実施例との相違点だけを説明する。
【0072】
本発明の好ましい一実施形態において、制御装置は、復号化済みオーディオ信号DSの所望信号WSのエネルギーを決定するよう構成された所望信号エネルギー推定部14と、復号化済みオーディオ信号DSのノイズNのエネルギーを決定するよう構成されたノイズエネルギー推定部15と、所望信号WSのエネルギーに基づきまたノイズNのエネルギーにも基づいて復号化済みオーディオ信号DSの信号対ノイズ比を決定するよう構成された信号対ノイズ比推定部16と、を含み、スイッチ装置10は制御装置11によって決定された信号対ノイズ比に依存して切り替えられる。この場合、信号対ノイズ比に関するビットストリーム内のサイド情報は必要でない。従って、第1実施例におけるサイド情報受信部13も必要でない。
【0073】
本発明の好ましい一実施形態において、ビットストリームBSは活性フレームと不活性フレームとを含み、制御装置11は、復号化済みオーディオ信号DSの所望信号WSのエネルギーを活性フレームの期間中に決定し、復号化済みオーディオ信号DSのノイズNのエネルギーを不活性フレームの期間中に決定するよう構成されている。これにより、信号対ノイズ比を推定するときの高度な正確性が容易な方法で達成され得る。
【0074】
本発明の好ましい一実施形態において、ビットストリームBSは活性フレームと不活性フレームとを含み、復号器1はサイド情報受信部17を含み、そのサイド情報受信部17は、ビットストリーム内の現在のフレームが活性か不活性かを示すサイド情報に基づいて、活性フレームと不活性フレームとを区別するよう構成されている。この特徴により、活性フレーム又は不活性フレームはそれぞれ、計算労力なく識別され得る。
【0075】
本発明の好ましい一実施形態において、サイド情報受信部17は、スイッチ17aを制御するよう構成されてもよく、そのスイッチ17aは、所望信号エネルギー推定部14の出力信号OW、又はノイズエネルギー推定部15の出力信号ONのいずれかを択一的に信号対ノイズ比推定部16へと供給し、その場合、所望信号エネルギー推定部14の出力信号OWは活性フレームの期間中に信号対ノイズ比推定部16へと供給され、ノイズエネルギー推定部15の出力信号ONは不活性フレームの期間中に信号対ノイズ比推定部16へと供給される。これらの特徴により、信号対ノイズ比は容易かつ正確な方法で計算され得る。
【0076】
本発明の好ましい一実施形態において、制御装置11は、分析信号ASに基づいて復号化済みオーディオ信号の所望信号のエネルギーを決定するよう構成されている。この場合、通常はノイズ推定の目的で計算されるべき分析信号ASが再使用されて、複雑さが軽減されてもよい。
【0077】
本発明の好ましい一実施形態において、制御装置11は、復号化済みオーディオ信号DSのノイズNのエネルギーを、ノイズ推定信号NEに基づいて決定するよう構成されている。このような実施形態においては、典型的にはコンフォートノイズ生成の目的で計算されるべきノイズ推定信号NEが再使用されて、複雑さが更に軽減されてもよい。
【0078】
本発明の好ましい実施形態において、復号器1は更なるビットストリーム復号器(図示せず)を含み、前記ビットストリーム復号器2とその更なるビットストリーム復号器とは異なるタイプであり、復号器1はスイッチ(図示せず)を含み、そのスイッチは、ノイズ推定装置3と結合部5とに対し、ビットストリーム復号器2からの復号化済み信号DS、又は更なるビットストリーム復号器からの復号化済み信号のいずれかを供給するよう構成されている。ビットストリーム復号器2を使用する場合と同様に、更なるビットストリーム復号器を使用する場合でも、コンフォートノイズ付加が実行されるので、ビットストリーム復号器2と更なるビットストリーム復号器とを切り替えるときの遷移アーチファクトが最小化され得る。例えば、ビットストリーム復号器2は代数符号励振線形予測(ACELP)のビットストリーム復号器であってもよく、一方、更なるビットストリーム復号器は変換ベースのコア(TCX)ビットストリーム復号器であってもよい。
【0079】
本発明の復号器1は、図1及び図2に示されており、そこではコンフォートノイズの付加が周波数ドメインで盲目的に実行される。実際の背景ノイズNのように聞こえるコンフォートノイズCNを得るために、ノイズ推定装置3が復号器1において使用され、何らのサイド情報をも必要とせずに背景ノイズNのレベル及びスペクトル形状を決定する。
【0080】
コンフォートノイズ生成装置4は、ノイズの多いスピーチシナリオにおいてだけトリガーされる。即ち、明瞭なスピーチ又は明瞭な音楽の状況においてはトリガーされない。その区別は符号器内で実行される検出に基づいてもよい。この場合、その決定は専用ビットを使用して伝送されるべきである。対照的に、好ましい実施形態においては、符号器内で使用されるノイズ推定装置に類似するノイズ推定生成装置7が適用される。その装置は、VAD決定に依存して、ノイズNのエネルギーと、スピーチ及び/又は音楽などの所望信号WSのエネルギーとのいずれかの長期間推定を別個に採用することで、長期間の信号対ノイズ比を推定する。VAD決定は、ACELPモード及びTCXモードのインデックスから直接的に推定されてもよい。実際のところ、信号が不活性のスピーチ/音楽フレーム、即ち背景ノイズだけを有するフレームであるとき、TCX及びACELPは、TCX−NA及びACELP−NAと呼ばれる特定のモードにおいてそれぞれ作動することができる。ACELP及びTCXの他の全てのモードは、活性フレームに関連する。それ故、ビットストリーム内における専用のVADビットの存在は省略され得る。
【0081】
付加されるコンフォートノイズのレベルは、了解度と品質を保存するために制限されるべきである。それ故、コンフォートノイズは予め決定された目標ノイズレベルに到達するまでスケールされる。コンフォートノイズ付加後の目標ノイズ振幅レベルをgtarで示す場合、ランダムノイズw(k)のエネルギーEwは各周波数kについて次式のように調整される。
【0082】
【数3】
【0083】
ここで、
は周波数kにおいて復号化されたオーディオ出力内に存在するノイズエネルギーの推定値を示し、ノイズ推定モジュールによって出力されたものである。
【0084】
典型的に、復号化済みオーディオ信号DSは、特に符号化アーチファクトが最も激しい低ビットレートにおいて、オリジナル入力信号よりも高い信号対ノイズ比を示す。スピーチ符号化におけるノイズレベルのこのような減衰は、入力としてスピーチを有することを想定しているソースモデルパラダイムに起因する。その他の場合には、ソースモデル符号化は全く適切ではなく、非スピーチ成分の全体エネルギーを再生できないであろう。それ故、図3に示された符号器を用いる本発明の第1の態様において、目標コンフォートノイズレベルgtarは、符号化プロセスによって固有に導入されたノイズ減衰を大まかに補償するために、ビットレートに依存して調整される。
【0085】
図4及び図5に示された符号器を用いる本発明の第2の態様について、目標コンフォートノイズレベルgtarは、追加的に、符号器内のノイズ低減モジュールによって引き起こされるノイズ減衰を考慮に入れなければならない。
【0086】
更に、本明細書で説明されるコンフォートノイズの付加によれば、全てのフレーム上にコンフォートノイズを均一に付加することで、一つの符号化タイプ(例えばACELP)から別のタイプ(例えばTCX)への遷移アーチファクトを平滑化することが可能になる。
【0087】
図3は、図1及び図2に示された復号器と組み合わせて使用し得る、従来技術に係る符号器を示す。
【0088】
入力信号ISはビットストリーム符号器20によって直接的に符号化される。ビットストリーム符号器20はスピーチコーダであってもよく、又は、スピーチコーダACELPと変換ベースのオーディオコーダTCXとの間を切り替える低遅延スキームであってもよい。ビットストリーム符号器20は、信号ISを符号化する信号符号器21と、復号器1において復号化済み信号DSを生成するために必要なビットストリームBSを生成するビットストリーム生成部22とを含む。これと並行して、入力信号ISは信号分析器23と称されるモジュールによって分析され、そのモジュールはノイズ推定装置24を含む。好ましい一実施形態において、ノイズ推定装置24は、G.718において使用されるものと同じである。それは、スペクトル分析装置25と、後続のノイズ推定生成装置26とにより構成されている。オリジナル信号ISのスペクトルSIと推定されたノイズのスペクトルNIとは、ノイズ低減モジュール27に入力される。ノイズ低減モジュール27は、強化された周波数ドメイン信号FSにおける背景ノイズレベルを減衰させる。その低減量は、目標減衰レベル信号TASによって与えられる。強化された時間ドメイン信号(ノイズ低減済みオーディオ信号)TSは、スペクトル合成装置28によって実行されるスペクトル合成の後で生成される。信号TSは、活性フレームと不活性フレームとを区別するために信号活性度検出部29により活用されるピッチ安定度などの、幾つかの特徴を推論するために使用される。その分類の結果は、符号器モジュール18によってさらに利用されてもよい。好ましい実施形態において、特定の符号化モードが不活性フレームを取り扱うために使用される。このようにして、復号器1は、専用ビットを必要とせずに、ビットストリームから信号活性度フラグ(VADフラグ)を推論できる。
【0089】
図4は本発明にかかる符号器18の第1実施形態を示す。図4に示された符号器18は図3に示された符号器18に基づいている。
【0090】
図4の符号器18は、オーディオビットストリームBSを生成するよう構成され、符号器18は、
オーディオ入力信号ISに対応する符号化済みオーディオ信号ESを生成し、その符号化済みオーディオ信号ESからビットストリームBSを導出するよう構成されたビットストリーム符号器20と、
所望信号エネルギー推定部31により決定されたオーディオ入力信号ISの所望信号WSのエネルギーと、ノイズエネルギー推定部32により決定されたオーディオ入力信号ISのノイズNのエネルギーとに基づいて、オーディオ入力信号ISの信号対ノイズ比を決定するよう構成された信号対ノイズ比推定部33を有する、信号分析部30と、
ノイズ低減済みオーディオ信号TSを生成するよう構成されたノイズ低減装置27、28と、
オーディオ入力信号ISの決定された信号対ノイズ比に依存して、オーディオ入力信号IS又はノイズ低減済みオーディオ信号TSのいずれかを、それぞれの信号IS、TSを符号化するために、ビットストリーム符号器20に対して供給するよう構成されたスイッチ装置35であって、ビットストリーム符号器20は、オーディオ入力信号IS又はノイズ低減済みオーディオ信号TSのどちらが符号化されているかを示すサイド情報を、ビットストリームの中で伝送するよう構成されている、スイッチ装置35と、を含む。
【0091】
ビットストリーム符号器20は、オーディオ情報を含むデジタルデータ信号であるオーディオ信号を符号化できる装置またはコンピュータプログラムであってもよい。符号化処理の結果、デジタルビットストリームが生成され、それがデジタルデータリンクを介して遠位の復号器へと伝送されてもよい。
【0092】
本発明の一実施形態の符号器部分を図4に示す。図3と比較した主な相違点は、ノイズ低減の出力、即ち強化された信号TSを符号化するという事実から生まれる。ノイズのない状態(明瞭なスピーチ又は明瞭な音楽)における不要な歪みを回避するために、ノイズ低減はノイズの多いスピーチの場合にのみ適用され、それ以外の場合には迂回される。ノイズが多い信号とノイズが無い信号との間の区別は、所望信号エネルギー推定部31により所望信号WS(スピーチ又は音楽)の長期間エネルギーを推定すること、及びノイズ推定部32によりノイズNの長期間エネルギーを推定することとによって達成される。この目的のため、所望信号エネルギー推定部31は、スペクトル分析装置25により供給される入力信号ISについてのスペクトル信号SIを受信する。さらに、ノイズエネルギー推定部は、ノイズ推定生成装置26により供給される入力信号ISについてのノイズ推定信号NIを受信する。活性フレームの期間中には、長期間スピーチ/音楽エネルギー推定WEだけが更新される。不活性フレームの期間中には、ノイズエネルギー推定NEだけが更新される。活性フレームの期間中は、長期間エネルギーは入力フレームエネルギーの一次の自己回帰フィルタリングにより計算され、一方で不活性フレームの期間中は、長期間エネルギーはノイズ推定モジュールの出力を使用して計算される。このようにして、信号対ノイズ比信号RSを信号対ノイズ比推定部33により計算することができ、その信号はノイズNの長期間エネルギーに対するスピーチ又は音楽WSの長期間エネルギーの比を含む。信号対ノイズ比信号RSはノイズ検出部34に供給され、その検出部は、現在のフレームがノイズの多いオーディオ信号を含むか又は明瞭なオーディオ信号を含むかについて決定する。信号対ノイズ比信号RSが所定の閾値を下回る場合、そのフレームはノイズの多いスピーチと認識され、その他の場合には明瞭なスピーチとして分類される。
【0093】
分類の結果は、ノイズフラグ信号NFとして出力され、これはスイッチ35を制御するために使用される。更に、ノイズフラグ信号NFはビットストリーム符号器20へと供給される。ビットストリーム符号器20は、ノイズフラグ信号NFに基づいて、ビットストリーム内にサイド情報を生成しかつ伝送するよう構成されており、そのサイド情報は、オーディオ入力信号IS又はノイズ低減済みオーディオ信号TSのいずれが符号化されているかを示す。このフラグを復号化することで、復号器は、復号化済み信号DSをノイズの多い信号又は明瞭な信号として分類する必要なく、目標ノイズレベルを自動的に調整できる。
【0094】
図5は、本発明にかかる符号器18の第2の実施形態を示す。図5に示された符号器18は、図4に示された符号器に基づいている。以下に追加的な特徴について説明する。図5では、信号分析部30は、入力信号ISについてのノイズ低減済みオーディオ信号TSとノイズ推定信号NIとを受け取る、信号活性度検出部36を含む。信号活性度検出部36は、上記2つの信号に基づいて、活性フレームと不活性フレームとを区別するよう構成されている。信号活性度検出部は信号活性度信号SAを生成し、その信号活性度信号SAは、一方では、ビットストリームBSを信号活性度に適合させる目的でビットストリーム符号器20へと送信され、他方では、スイッチ37を切り替えるために使用される。このスイッチ37は、信号対ノイズ比推定部33に対し、所望信号エネルギー信号WE又はノイズエネルギー信号ENを択一的に供給するよう構成されている。
【0095】
図6は、本発明にかかるビットストリームBSのフレームフォーマットFFの一実施形態を示す。このフレームフォーマットFFに従うフレームは、0からnまでの位置に配置された複数ビットを有する信号ベクトルSVを含む。n+1の位置には、そのフレームが活性フレームか不活性フレームかを示す活性度フラグAFである1ビットが配置されている。更に、n+2の位置には、そのフレームがノイズの多い信号又は明瞭な信号を含むかを示すノイズフラグNFである1ビットが配置される。n+3の位置には、パディングビットPBが配置されている。
【0096】
本発明の好ましい一実施形態において、現在フレームが活性であるか不活性であるかを示すサイド情報は、ビットストリーム内の少なくとも1つの専用ビットから構成されている。
【0097】
要約すると、本発明の一態様においては、オリジナル信号が符号化され、復号器1において、人工的に生成されたコンフォートノイズCNによって付加される前にオリジナル信号が復号化される。コンフォートノイズ生成装置4は、サイド情報を全く必要としないか、又は極少量しか必要としない。第1実施形態において、コンフォートノイズ生成装置4はサイド情報を全く必要とせず、全ての処理は盲目的に実行される。その好ましい実施形態において、コンフォートノイズ生成装置4は、VAD情報(活性フレームと不活性フレームとの分類結果)をビットストリームBSから復元する必要があり、そのVAD情報は、ビットストリーム内に既に存在することができ、他の目的にも使用可能である。図1に示す実施形態において、復号器1は、明瞭なスピーチとノイズの多いスピーチを区別するノイズフラグを符号器18から要求する。更に、コンフォートノイズ生成装置4の駆動を助成し得る、パラメトリック的に符号化されたいかなる種類の情報をも想定することができる。
【0098】
本発明の他の態様において、ノイズ低減が最初にオリジナル信号ISに対して適用され、強化された信号TSがビットストリーム符号器20へと送られて、符号化されかつ送信される。復号化の最終段階において、人工的に生成されたコンフォートノイズCNが、復号化された(強化された)信号DSに付加される。符号器においてノイズ低減のために使用された目標減衰レベルは、復号器におけるCNGモジュールと共有される固定値である。それ故、目標減衰レベルは明示的に伝送される必要がない。
【0099】
これまで装置を説明する文脈で幾つかの態様を示してきたが、これらの態様は対応する方法の説明でもあることは明らかであり、そのブロック又は装置が方法ステップ又は方法ステップの特徴に対応することは明らかである。同様に、方法ステップを説明する文脈で示した態様もまた、対応する装置の対応するブロックもしくは項目又は特徴を表している。方法ステップの幾つか又は全ては、例えばマイクロプロセッサ、プログラム可能なコンピュータ、又は電子回路等のハードウエア装置により(を使用して)実行されても良い。幾つかの実施形態においては、最も重要な方法ステップの内の1つ又は複数のステップはそのような装置によって実行されても良い。
【0100】
所定の構成要件にも依るが、本発明の実施形態は、ハードウエア又はソフトウエアにおいて構成可能である。この構成は、その中に格納される電子的に読み取り可能な制御信号を有し、本発明の各方法が実行されるようにプログラム可能なコンピュータシステムと協働する(又は協働可能な)、デジタル記憶媒体、例えばフレキシブルディスク,DVD,ブルーレイ,CD,ROM,PROM,EPROM,EEPROM,フラッシュメモリなどの非一時的記憶媒体を使用して実行することができる。従って、そのデジタル記憶媒体はコンピュータ読み取り可能であっても良い。
【0101】
本発明に従う幾つかの実施形態は、上述した方法の1つを実行するようプログラム可能なコンピュータシステムと協働可能で、電子的に読み取り可能な制御信号を有するデータキャリアを含む。
【0102】
一般的に、本発明の実施例は、プログラムコードを有するコンピュータプログラム製品として構成することができ、このプログラムコードは当該コンピュータプログラム製品がコンピュータ上で作動するときに、本発明の方法の一つを実行するよう作動する。そのプログラムコードは例えば機械読み取り可能なキャリアに記憶されていても良い。
【0103】
本発明の他の実施形態は、上述した方法の1つを実行するための、機械読み取り可能なキャリアに記憶されたコンピュータプログラムを含む。
【0104】
換言すれば、本発明の方法のある実施形態は、そのコンピュータプログラムがコンピュータ上で作動するときに、上述した方法の1つを実行するためのプログラムコードを有するコンピュータプログラムである。
【0105】
本発明の他の実施形態は、上述した方法の1つを実行するために記録されたコンピュータプログラムを含む、データキャリア(又はデジタル記憶媒体又はコンピュータ読み取り可能な媒体)である。データキャリア、デジタル記憶媒体、または記録された媒体は、典型的には有形であり、及び/又は非一時的である。
【0106】
本発明の他の実施形態は、上述した方法の1つを実行するためのコンピュータプログラムを表現するデータストリーム又は信号列である。そのデータストリーム又は信号列は、例えばインターネットを介するデータ通信接続を介して伝送されるよう構成されても良い。
【0107】
他の実施形態は、上述した方法の1つを実行するように構成又は適応された、例えばコンピュータ又はプログラム可能な論理デバイスのような処理手段を含む。
【0108】
他の実施形態は、上述した方法の1つを実行するためのコンピュータプログラムがインストールされたコンピュータを含む。
【0109】
本発明によるさらなる実施形態は、本明細書に記載の方法のうちの1つを実行するためのコンピュータプログラムを受信機へと(例えば電子的または光学的に)転送するよう構成された装置またはシステムを含む。受信機は、例えばコンピュータ、携帯デバイス、メモリデバイスなどであってもよい。装置またはシステムは、例えばコンピュータプログラムを受信機へと転送するためのファイルサーバを備えてもよい。
【0110】
幾つかの実施形態においては、(例えば書換え可能ゲートアレイのような)プログラム可能な論理デバイスが、上述した方法の幾つか又は全ての機能を実行するために使用されても良い。幾つかの実施形態では、書換え可能ゲートアレイは、上述した方法の1つを実行するためにマイクロプロセッサと協働しても良い。一般的に、そのような方法は、好適には任意のハードウエア装置によって実行される。
【0111】
上述した実施形態は、本発明の原理を単に例示的に示したにすぎない。本明細書に記載した構成及び詳細について修正及び変更が可能であることは、当業者にとって明らかである。従って、本発明は、本明細書に実施形態の説明及び解説の目的で提示した具体的詳細によって限定されるものではなく、添付した特許請求の範囲によってのみ限定されるべきである。
【符号の説明】
【0112】
1 復号器
2 ビットストリーム復号器
3 ノイズ推定装置
4 コンフォートノイズ生成装置
5 結合部
6 スペクトル分解装置
7 ノイズ推定生成装置
8 ノイズ生成部
9 スペクトル合成部
10 スイッチ装置
11 制御装置
12 ノイズ検出部
13 サイド情報受信部
14 所望信号エネルギー推定部
15 ノイズエネルギー推定部
16 信号対ノイズ比推定部
17 サイド情報受信部
17a スイッチ
18 符号器
19 信号分析部
20 ビットストリーム符号器
21 信号符号器
22 ビットストリーム生成部
23 信号分析部
24 ノイズ推定装置
25 スペクトル分析装置
26 ノイズ推定生成部
27 ノイズ低減モジュール
28 スペクトル合成装置
29 信号活性度検出部
30 信号分析部
31 所望信号エネルギー推定部
32 ノイズエネルギー推定部
33 信号対ノイズ比推定部
34 ノイズ検出部
35 スイッチ
36 信号活性度検出部
37 スイッチ
BS 符号化済みオーディオビットストリーム
DS 復号化済みオーディオ信号
NE ノイズ推定信号
N ノイズ
CN コンフォートノイズ
OS オーディオ出力信号
AS 分析信号
FD 周波数ドメインのコンフォートノイズ信号
ND ノイズ検出信号
TNL 目標コンフォートノイズレベル
IS 入力信号
ES 符号化済み信号
OW 所望信号エネルギー推定部の出力信号
ON ノイズエネルギー推定部の出力信号
SI 入力信号についてのスペクトル信号
NI 入力信号についてのノイズ推定信号
TAS 目標減衰信号
FS 強化された周波数ドメイン信号
TS ノイズ低減済みオーディオ信号
AD 活性度検出部信号
WE 所望信号エネルギー信号
EN ノイズエネルギー信号
RS 信号対ノイズ比信号
NF ノイズフラグ
SA 信号活性度信号
FF フレームフォーマット
SV 信号ベクトル
AF 活性度フラグ
NF ノイズフラグ信号
PB パディングビット
図1
図2
図3
図4
図5
図6