(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】特表2019-515323(P2019-515323A)

(43)【公表日】2019年6月6日

(54)【発明の名称】スペクトログラムに対する構造テンソルを用いた調波打楽器残差音声分離装置および方法

(51)【国際特許分類】

   G10L 21/0272 20130101AFI20190517BHJP

   G10L 21/0308 20130101ALI20190517BHJP

   G10G 1/00 20060101ALI20190517BHJP

【ＦＩ】

   G10L21/0272 100Z

   G10L21/0308 Z

   G10G1/00

【審査請求】有

【予備審査請求】未請求

【全頁数】32

(21)【出願番号】特願2018-549258(P2018-549258)

(86)(22)【出願日】2017年3月16日

(85)【翻訳文提出日】2018年11月16日

(86)【国際出願番号】EP2017056257

(87)【国際公開番号】WO2017158102

(87)【国際公開日】20170921

(31)【優先権主張番号】16161251.0

(32)【優先日】2016年3月18日

(33)【優先権主張国】EP

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．Ｂｌｕ−ｒａｙ

(71)【出願人】

【識別番号】500341779

【氏名又は名称】フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン

(74)【代理人】

【識別番号】100205981

【弁理士】

【氏名又は名称】野口 大輔

(72)【発明者】

【氏名】アンドレアス・ニーデルマイヤー

(72)【発明者】

【氏名】リカルト・フェグ

(72)【発明者】

【氏名】ザッシャ・ディシェ

(72)【発明者】

【氏名】マイナルト・ミュラー

(72)【発明者】

【氏名】ジョナサン・ドリードガー

【テーマコード（参考）】

5D182

【Ｆターム（参考）】

5D182AC01

5D182AD10

(57)【要約】

【特許請求の範囲】

【請求項1】

オーディオ信号の振幅スペクトログラムを分析するための装置であって、
前記オーディオ信号の前記振幅スペクトログラムに応じて、前記オーディオ信号の前記振幅スペクトログラムの複数の時間周波数ビンの各時間周波数ビンについて周波数の変化を判定するように構成された周波数変化判定器（１１０）と、
前記時間周波数ビンについて判定された前記周波数の前記変化に応じて、前記複数の時間周波数ビンの各時間周波数ビンを、２つ以上の信号成分グループのうちの１つの信号成分グループに割り当てるように構成された分類器（１２０）と、を備える、装置。

【請求項2】

前記周波数変化判定器（１１０）は、前記時間周波数ビンの角度（α（ｂ，ｋ））に応じて、前記複数の時間周波数ビンの各時間周波数ビンについて前記周波数の前記変化を判定するように構成されており、前記時間周波数ビンの前記角度（α（ｂ，ｋ））は、前記オーディオ信号の前記振幅スペクトログラムに依存する、請求項１に記載の装置。

【請求項3】

前記周波数変化判定器（１１０）は、前記オーディオ信号のサンプリング周波数（ｆ_ｓ）、ならびに、分析窓の長さ（Ｎ）および前記分析窓のホップサイズ（Ｈ）にさらに依存して、前記複数の時間周波数ビンの各時間周波数ビンについて前記周波数の前記変化を判定するように構成されている、請求項２に記載の装置。

【請求項4】

前記装置周波数変化判定器（１１０）は、以下の式に応じて、前記複数の時間周波数ビンの各時間周波数ビンについて前記周波数の前記変化を判定するように構成されており、

（ｂ，ｋ）は前記複数の時間周波数ビンのうちの１つの時間周波数ビンを示し、
Ｒ（ｂ，ｋ）は前記時間周波数ビン（ｂ，ｋ）の前記周波数の前記変化を示し、
ｂは時間を示し、
ｋは周波数を示し、
ｆ_ｓは前記オーディオ信号の前記サンプリング周波数を示し、
Ｎは前記分析窓の前記長さを示し、
Ｈは前記分析窓の前記ホップサイズを示し、
α（ｂ，ｋ）は前記時間周波数ビン（ｂ，ｋ）の前記角度を示し、
前記角度α（ｂ，ｋ）は前記振幅スペクトログラムに依存する、請求項３に記載の装置。

【請求項5】

前記周波数変化判定器（１１０）は、時間インデックスに関する前記オーディオ信号の前記振幅スペクトログラム（Ｓ）の偏導関数（Ｓ_ｂ）を決定するように構成されており、
前記周波数変化判定器（１１０）は、時間インデックスに関する前記オーディオ信号の前記振幅スペクトログラム（Ｓ）の偏導関数（Ｓ_ｋ）を決定するように構成されており、
前記周波数変化判定器１１０は、前記時間インデックスに関する前記オーディオ信号の前記振幅スペクトログラム（Ｓ）の前記偏導関数（Ｓ_ｂ）、および、前記周波数インデックスに関する前記オーディオ信号の前記振幅スペクトログラム（Ｓ）の前記偏導関数（Ｓ_ｋ）に応じて、前記複数の時間周波数ビンの時間周波数ビンの各時間周波数ビン（（ｂ，ｋ））について構造テンソル
を決定するように構成されており、
前記周波数変化判定器（１１０）は、前記時間周波数ビン（（ｂ，ｋ））の前記構造テンソル
に応じて、前記複数の時間周波数ビンの各時間周波数ビン（（ｂ，ｋ））の前記角度（α（ｂ，ｋ））を決定するように構成されている、請求項２〜４のいずれか一項に記載の装置。

【請求項6】

前記周波数変化判定器（１１０）は、前記時間周波数ビン（（ｂ，ｋ））の前記構造テンソル
の固有ベクトル
の
および
の２つの成分を決定することによって、および、以下の式に従って前記時間周波数ビン（（ｂ，ｋ）の前記角度（α（ｂ，ｋ））を決定することによって、前記複数の時間周波数ビンの各時間周波数ビン（（ｂ，ｋ））の前記角度（α（ｂ，ｋ））を決定するように構成されており、
α（ｂ，ｋ）は前記時間周波数ビン（（ｂ，ｋ））の前記角度を示し、
ｂは時間を示し、
ｋは周波数を示し、
ａｔａｎ（）は逆タンジェント関数を示す、請求項５に記載の装置。

【請求項7】

前記分類器１２０は、以下の式のうちの少なくとも１つに依存して、前記複数の時間周波数ビンの各時間周波数ビン（ｂ，ｋ）について異方性の測度を決定するように構成されており、
および
μ（ｂ，ｋ）は第１の固有値であり、λ（ｂ，ｋ）は前記時間周波数ビン（ｂ，ｋ）の前記構造テンソル
の第２の固有値であり、
であり、
前記分類器（１２０）は、前記異方性の測度の前記変化にさらに依存して、前記複数の時間周波数ビンの各時間周波数ビンを、２つ以上の信号成分グループのうちの１つの信号成分グループに割り当てるように構成されている、請求項５または６に記載の装置。

【請求項8】

前記分類器（１２０）は、以下の式に応じて前記時間周波数ビン（ｂ，ｋ）の前記異方性の測度を決定するように構成されており、

Ｃ（ｂ，ｋ）は前記時間周波数ビン（ｂ，ｋ）について依存する前記異方性の測度であり、
前記分類器（１２０）は、前記異方性の測度Ｃ（ｂ，ｋ）が第１の閾値ｃより小さい場合、前記時間周波数ビン（ｂ，ｋ）を前記２つ以上の信号成分グループの残差成分グループに割り当てるように構成されており、または
前記分類器（１２０）は、前記異方性の測度Ｃ（ｂ，ｋ）が前記第１の閾値ｃ以下である場合に、前記時間周波数ビン（ｂ，ｋ）を前記２つ以上の信号成分グループの前記残差成分グループに割り当てるように構成されており、
である、請求項７に記載の装置。

【請求項9】

前記分類器（１２０）は、前記複数の時間周波数ビンの各時間周波数ビンを、前記時間周波数ビン（（ｂ，ｋ））について判定された前記周波数の前記変化（Ｒ（ｂ，ｋ））に応じて２つ以上の信号成分グループの信号成分グループに割り当てるように構成されており、結果、前記分類器（１２０）は、前記時間周波数ビン（（ｂ，ｋ））について判定された前記周波数の前記変化（Ｒ（ｂ，ｋ））の絶対値（｜Ｒ（ｂ，ｋ）｜）が第２の閾値ｒ_ｈよりも小さいか否かに応じて、または、前記時間周波数ビン（（ｂ，ｋ））について判定された前記周波数の前記変化（Ｒ（ｂ，ｋ））の前記絶対値（｜Ｒ（ｂ，ｋ）｜）が前記第２の閾値ｒ_ｈ以下であるか否かに応じて、前記複数の時間周波数ビンのうちの１つの時間周波数ビンを、前記２つ以上の信号成分グループのうちの調波信号成分グループに割り当て、
である、請求項１〜８のいずれか一項に記載の装置。

【請求項10】

前記分類器（１２０）は、前記複数の時間周波数ビンの各時間周波数ビンを、前記時間周波数ビン（（ｂ，ｋ））について判定された前記周波数の前記変化（Ｒ（ｂ，ｋ））に応じて２つ以上の信号成分グループの信号成分グループに割り当てるように構成されており、結果、前記分類器（１２０）は、前記時間周波数ビン（（ｂ，ｋ））について判定された前記周波数の前記変化（Ｒ（ｂ，ｋ））の絶対値（｜Ｒ（ｂ，ｋ）｜）が第３の閾値ｒ_ｐよりも大きいか否かに応じて、または、前記時間周波数ビン（（ｂ，ｋ））について判定された前記周波数の前記変化（Ｒ（ｂ，ｋ））の前記絶対値（｜Ｒ（ｂ，ｋ）｜）が前記第３の閾値ｒ_ｐ以上であるか否かに応じて、前記複数の時間周波数ビンのうちの１つの時間周波数ビンを、前記２つ以上の信号成分グループのうちの打楽器信号成分グループに割り当て、
である、請求項１〜８のいずれか一項に記載の装置。

【請求項11】

前記分類器（１２０）は、前記複数の時間周波数ビンの各時間周波数ビンを、前記時間周波数ビン（（ｂ，ｋ））について判定された前記周波数の前記変化（Ｒ（ｂ，ｋ））に応じて２つ以上の信号成分グループの信号成分グループに割り当てるように構成されており、結果、前記分類器（１２０）は、前記時間周波数ビン（（ｂ，ｋ））について判定された前記周波数の前記変化（Ｒ（ｂ，ｋ））の絶対値（｜Ｒ（ｂ，ｋ）｜）が前記第３の閾値ｒ_ｐよりも大きいか否かに応じて、または、前記時間周波数ビン（（ｂ，ｋ））について判定された前記周波数の前記変化（Ｒ（ｂ，ｋ））の前記絶対値（｜Ｒ（ｂ，ｋ）｜）が前記第３の閾値ｒ_ｐ以上であるか否かに応じて、前記複数の時間周波数ビンのうちの１つの時間周波数ビンを、前記２つ以上の信号成分グループのうちの打楽器信号成分グループに割り当て、
である、請求項９に記載の装置。

【請求項12】

前記装置は、前記複数の時間周波数ビンの前記２つ以上の信号成分グループへの前記割り当てに応じてオーディオ出力信号を生成するように構成された信号発生器（１３０）を備える、請求項１〜１１のいずれか一項に記載の装置。

【請求項13】

前記信号発生器（１３０）は、前記複数の時間周波数ビンの各時間周波数ビンの振幅値に重み付け係数（ｗ_ｈ，ｗ_ｐ，ｗ_ｒ）を適用して、前記オーディオ出力信号を得るように構成され、ここで、前記時間周波数ビンに適用される前記重み付け係数（ｗ_ｈ，ｗ_ｐ，ｗ_ｒ）は、前記時間周波数ビンが割り当てられる前記信号成分グループに依存する、請求項１２に記載の装置。

【請求項14】

前記信号プロセッサ（１３０）は、前記オーディオ信号をアップミックスして２つ以上のオーディオ出力チャネルを含む前記オーディオ出力信号を得るように構成されたアップミキサであり
前記アップミキサは、前記複数の時間周波数ビンを前記２つ以上の信号成分グループに前記割り当てることに応じて前記２つ以上のオーディオ出力チャネルを生成するように構成されている、請求項１２または１３に記載の装置。

【請求項15】

前記装置は、前記オーディオ信号を記録するための１つまたは複数のマイクロホン（１７１，１７２）を備え、
前記装置は、前記オーディオ信号から前記オーディオ信号の前記振幅スペクトログラムを生成するための振幅スペクトログラム生成器（１８０）をさらに備える、請求項１〜１４のいずれか一項に記載の装置。

【請求項16】

オーディオ信号の振幅スペクトログラムを分析するための方法であって、
前記オーディオ信号の前記振幅スペクトログラムに応じて、前記オーディオ信号の前記振幅スペクトログラムの複数の時間周波数ビンの各時間周波数ビンについて周波数の変化を判定するステップと、
前記時間周波数ビンについて判定された前記周波数の前記変化に応じて、前記複数の時間周波数ビンの各時間周波数ビンを、２つ以上の信号成分グループのうちの１つの信号成分グループに割り当てるステップと、を含む、方法。

【請求項17】

コンピュータまたは信号プロセッサ上で実行されるとき、請求項１６に記載の方法を実装するためのコンピュータプログラム。

【発明の詳細な説明】

本発明は、オーディオ信号処理に関し、特にスペクトログラムに対する構造テンソルを用いた調波打楽器残差音声分離のための装置および方法

音声を調波成分と打楽器成分とに分離できることは、多くの用途にとって効果的な前処理ステップである。 「調波打楽器（残差）分離」は一般的な用語であるが、基本周波数の整数倍の周波数を有する正弦波を有する調波構造を意味するため、誤解を招く。正確な用語は「音調打楽器（残差）分離」でなければならないが、理解を容易にするために、以下では 「音調」ではなく用語および「調波」を使用している。 例えば、音楽録音の打楽器成分の分離を使用すると、ビートトラッキング（［１］参照）、リズム分析およびリズム楽器の音写の品質が向上する。調波成分の分離は、音程のある楽器の音写およびコード検出に適している（［３］参照）。さらに、調波打楽器分離は、両方の信号成分のレベル比を変化させるようなリミックスの目的で使用することができ（［４］参照）、全体的な音声の感覚が「より滑らか」または「より力強い」ものになる。 調波打楽器音分離のためのいくつかの方法は、調波音が入力信号の振幅スペクトログラムにおいて水平構造（時間方向）を有し、一方で、打楽器音が垂直構造（周波数方向）として現れるという仮定に依拠する。Ｏｎｏ他は、まず、時間／周波数方向の拡散によって調波／打楽器強調スペクトログラムを作成する方法を提示している［５］。これらの強調された表現を後で比較することによって、音声が調波か打楽器かを導き出すことができる。 同様の方法がＦｉｔｚｇｅｒａｌｄによって発表されている。当該文献においては、拡散の代わりに垂直方向のメジアンフィルタリングを使用して強調スペクトルが計算され（［６］を参照）、計算複雑度を低減しながら同様の結果がもたらされる。 これは、小さなセットのパラメータによってそれぞれの信号成分を記述することを目指すフレームワークである、正弦波＋過渡＋雑音（Ｓ＋Ｔ＋Ｎ）信号モデル（［７］、［８］、［９］参照）から着想を得ている。その後、Ｆｉｔｚｇｅｒａｌｄの方法は、［１０］の調波打楽器残差（ＨＰＲ）分離まで拡張された。オーディオ信号は、しばしば明瞭な調波でも打楽器でもない音声から構成されているため、この手順ではこれらの音声を第３の残りの成分において捕捉する。これらの残差信号のいくつかは、水平でも垂直でも内もない等方性の構造（例えば雑音）を明瞭に有するが、明瞭な水平構造を持たないにもかかわらず、音調情報を担持し、音声の調波部分として知覚することができる音声が存在する。例は、「ビブラート」があると言われる、ヴァイオリン演奏またはボーカルの録音において発生し得るような周波数変調トーンである。上述の方法は、水平構造または垂直構造のいずれかを認識する戦略のために、その調波成分において常にそのような音声を捕捉することができるとは限らない。 調波成分において非水平スペクトル構造を有する調波音を捕捉することができる非負行列分解に基づく調波打楽器分離手順が［１１］で提案されている。しかしながら、それは第３の残差成分を含まない。 を要約すると、最近の方法は、スペクトログラム表現では、調波音が水平構造をもたらし、打楽器音が垂直構造をもたらすという観察に依拠する。さらに、これらの方法は、水平でも垂直でもない構造（すなわち、調波でなく、打楽器でもない音声）と、残差のカテゴリとを関連付ける。しかし、この仮定は、スペクトル構造の変動を示し、一方でそれにもかかわらず音調情報を担持する、周波数変調トーンのような信号には成り立たない。 構造テンソルは、画像処理に使用されるツールであり（［１２］、［１３］参照）、これはその分野において、エッジおよびコーナ検出のために画像をグレースケーリングし（［１４］参照）、または、物体の向きを推定するために適用される。構造テンソルは、オーディオ処理において前処理および特徴抽出にすでに使用されている（［１５］、［１６］参照）。

【国際調査報告】